15966992031
您的当前位置:主页 > 新闻资讯 > SEO百科 > seo基础学习-服务器开启gzip是否影响蜘蛛抓取和网站收录量?让你轻松学会

seo基础学习-服务器开启gzip是否影响蜘蛛抓取和网站收录量?让你轻松学会

时间:2018-08-29

通过seo基础学习今天介绍下gzip会不会影响收录量。服务器开启gzip压缩,本身是不会对Spider抓取产生影响,蜘蛛会以压缩的方式来抓取。并且也能够节省站点的网络流量。下面几个问题会影响收录量。

seo基础学习

seo基础学习-哪些问题影响收录量:服务器问题导致抓取失败
正常情况下是有利无害的,但是服务器如果有问题,gzip可能会导致百度抓取失败,从而引发一系列问题。

seo基础学习-哪些问题影响收录量:技术错误会出现问题
像硬防、GZIP、CDN、DNS主动防御等,本身并没有问题,但是技术出现错误就会出现各种问题,比如前段时间的新闻美橙互联的DNS服务器检测自动防御时,误把百度蜘蛛IP当做恶意lP屏蔽了,导致客户网站被K。

seo基础学习-哪些问题影响收录量:谨慎启用相关功能
所以站长在启用相关功能时,一定要谨慎小心。

seo基础学习-Robots解除禁止抓取后的生效时间有多长?
网站上线测试时用robots.txt禁止抓取过,之后将robots限制解除,打开一段时间之后将robots.txt文件删除,删除之后几天又重新添加了robots.txt文件,经过6月2日-22日的日志观察,百度只访问robots.txt,代码为:
2011-06-16  06:27 : 11  W3SVC4 6543651  61.15 5.161.183GET/robots . Txt  -80 - 119.63.196.120 BaiduSpider+(+http: //www .baidu. Com/sear ch/spider.htm) 200  0  0
Robots解除禁止抓取状态,需要一段时间生效的话,这个周期是多久呢?

百度发现robots设置并更新抓取状态,正常情况在7天以内。robots的任何修改,百度都需要一定的时间更新。根据观察,这个时间根据网站大小权重的不同,长短也是不同的,有的可能远不止7天。

 
seo基础学习-服务器开启gzip是否影响蜘蛛抓取和网站收录量介绍完了,以上仅是鼎炫科技http://www.dingxuankeji.com/一家之说,仅供参考。

Copyright © 2015-2018 淄博鼎炫数字科技有限公司 版权所有    鲁ICP备17022873号-1