很多站长反应网站接入全部 CloudFlare 后百度爬虫抓取失败很严重,你的网站能不能被百度收录,首先要测试抓取:
https://ziyuan.baidu.com/crawltools/
如果显示几次抓取失败,那么很有可能防火墙阻止了爬虫。
特别是你使用cloudflare cdn那么默认是阻止的
网上说的添IP xxx.xxx.xxx.xxx/24 然而,我试了并没有用。
解决办法:
进cloudflare选中文语言 防火墙–防火墙规则
分别or添加包含以下 用户代理 (user agent)
百度内容抓取蜘蛛UA关键字:
Baiduspider/2.0
Baiduspider-image
Baiduspider-render/2.0
www.baidu.com/search/spider.html
如图示操作:


完成后再次测试抓取:

完成后再次测试抓取,结果可以了,至此一番简单的调整你使用 CloudFlare 的国内站点就可以让国内爬虫正常的抓取了,对原有的 SEO 也就没有啥影响了,理论上只要保证你的内容不违法违规国内流量也会慢慢恢复如初的!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。