cloudflare cdn 抓取百度蜘蛛爬虫失败解决方法

很多站长反应网站接入全部 CloudFlare 后百度爬虫抓取失败很严重,你的网站能不能被百度收录,首先要测试抓取:
https://ziyuan.baidu.com/crawltools/
如果显示几次抓取失败,那么很有可能防火墙阻止了爬虫。
特别是你使用cloudflare cdn那么默认是阻止的

网上说的添IP xxx.xxx.xxx.xxx/24 然而,我试了并没有用。

解决办法:

进cloudflare选中文语言 防火墙–防火墙规则

分别or添加包含以下 用户代理 (user agent)

百度内容抓取蜘蛛UA关键字:

Baiduspider/2.0

Baiduspider-image

Baiduspider-render/2.0

www.baidu.com/search/spider.html

如图示操作:

cloudflare cdn 抓取百度蜘蛛爬虫失败解决方法
cloudflare cdn 抓取百度蜘蛛爬虫失败解决方法

完成后再次测试抓取:

cloudflare cdn 抓取百度蜘蛛爬虫失败解决方法

完成后再次测试抓取,结果可以了,至此一番简单的调整你使用 CloudFlare 的国内站点就可以让国内爬虫正常的抓取了,对原有的 SEO 也就没有啥影响了,理论上只要保证你的内容不违法违规国内流量也会慢慢恢复如初的!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

微信客服
微信客服

0 条回复A文章作者M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索