蜘蛛老是抓取一些js图片css不抓内容怎么办

不抓取内页/栏目页怎么办?不用理会,让蜘蛛抓取,千万不要把这些css,js,图片在robots中禁止抓取,这样是不好的,可能导致我们网站整站都不抓取.

因为css/js/图片是搜索引擎现在必须要抓取的.

提升用户体验,有专门蜘蛛抓取页面做数据分析,不让它抓取不好.

当遇到这些问题不用处理,尤其是不要禁止蜘蛛抓取.

转载请注明：大灰牛博客 » 蜘蛛老是抓取一些js图片css不抓内容怎么办