当前位置:首页 > seo技术分享 > 正文

网站页面抓取频次异常应该怎么解决

抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次,今天小凯seo博客和朋友们分享一下网站页面抓取频次异常应该怎么解决的问题。

网站页面抓取频次异常应该怎么解决

搜索引擎蜘蛛对网站的抓取是有一定规律的,比如说Baiduspider会根据网站服务器压力自动进行抓取频次调整。如果不符合这个抓取的规律,可能网站的抓取就会受到一些因素的制约。关于当前抓取频次一般会出现两种情况,一种是抓取频次过大,另一种是抓取频次过小。

当前抓取频次过大怎么办?

1、如果您觉得Baiduspider 抓取了您认为的无价值链接, 请更新网站robots.txt进行屏蔽抓取,然后到robots工具页面操作生效;

2、如果Baiduspider的抓取影响了您网站的正常访问,请到抓取频次上限调整页面进行抓取频次上限下调;

3、若以上方法均不能解决问题,请到反馈中心反馈。

当前抓取频次过小怎么办?

1、若您已设置了抓取频次上限,建议您先取消抓取频次上限设置或到抓取频次上限调整页面上调抓取频次上限;

2、若您未设置抓取频次上限,建议先使用抓取异常工具查看是否为抓取异常导致;

3、若您仍觉得抓取量较小,可能是您有新链接未提交,请到链接提交页面进行数据提交;

4、若以上方法均不能解决问题,请到反馈中心反馈。

评论已关闭!