百度蜘蛛是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
蜘蛛抓取和很多因素有关
第一个因素是和网站权重有关
网站数据搜索引擎比较喜欢,抓取频率比较高一些,次数比较多些.
第二个是根据你服务器/空间能够承载多少蜘蛛限定的.
蜘蛛抓取,同时派遣很多蜘蛛,但是同时抓取的时候,你的服务器线程不支持,50个页面都不能承受,比方说你只是几十块钱的空间,蜘蛛抓取几十次,直接造成网站访问超时、打不开,这个就和服务器配置有关了.
蜘蛛抓取少,网站数据比较大的情况下,建议升级服务器配置.
另外蜘蛛抓取并不是越多越好,网站持续更新,蜘蛛派遣多;如果不更新,蜘蛛抓取频率还是很高就有问题了.
因此蜘蛛抓取稳定在一个区间内是比较好/正常的,一般对于有排名,排名比较好的页面,蜘蛛会频繁重复抓取.还有就是取决你更新的频率.
蜘蛛抓取并不是越多越好,也不是说越少越好,而是稳定在一个区间,至于区间是多少,没有一个固定值.
在蜘蛛抓取异常的情况下,突然猛增,检查是不是网站被挂马,搜索引擎蜘蛛抓取页面来的次数一天只抓取10-20很正常.
但是一天只抓取一次,就存在问题了,具体什么问题根据网站情况分析.
转载请注明：大灰牛博客 » 蜘蛛抓取什么情况是比较正常的