百度蜘蛛

很多站长反应网站接入全部 CloudFlare 后百度爬虫抓取失败很严重，你的网站能不能被百度收录，首先要测试抓取：https://ziyuan.baidu.com/crawltools/如果显示几次抓取失败，那么很有可能防火墙阻止了爬虫。特别是你使用cloudflare cdn那么默认是阻止的 网上说的添IP xxx.xxx.xxx.xxx/24 然而，我试了并没有用。 解决办法： 进cloud…