百度官方渠道,如何检测爬虫是否可以正常访问?
发布于 作者:苏南大叔 来源:程序如此灵动~

如果大家真的拿seo
做一项事业来做的话,必将会注意到一个事情:那就是百度爬虫是否可以无阻碍的到达自己的网站呢?是不是有什么地方设置错了,导致百度爬虫没有到访呢?应该很多seoer
都有这样类似的疑虑。
本文中,苏南大叔和大家讲述的是:如何使用百度官方提供的robots
检测功能,来检测百度爬虫的可抵达性。重点划线的是:可以检测某个网页的百度爬虫可抵达性。
百度搜索资源平台
百度搜索资源平台地址是:https://ziyuan.baidu.com/ 。这个资源平台的前身就是百度站长,年初的时候改名变身资源平台的。anyway,用起来和原来的百度站长功能基本一致,本文假设大家都已经认证过自己的站点了。可以在左侧菜单中,找到robots
这个菜单。
检测robots.txt
点击主界面的上的检测并更新
,就可以检测你站点根目录下面的robots.txt
是否正确设置了。并且在显示出来的robots.txt底部,显示百度蜘蛛是否可以访问。
值得注意的是:最后的表单,是可以填入某个确定的网址,来检测百度蜘蛛的可抵达性的。这点对于seo排除某个文章为什么没有被收录的话,是有比较好的参考价值的。
相关链接
- 百度官方对于robots.txt的说明:
https://ziyuan.baidu.com/college/courseinfo?id=267&page=12
小结
seo
,就是搜索引擎友好。当然你的站点向百度搜索引擎多多示好,才又可能多多从百度那边拿到点IP,是不是?关于seo方面,苏南大叔也是和大家一样,在不断探索学习过程中。
如果您对seo感兴趣,不如和苏南大叔一起学习进步,也是不错的选择,对吧?更多由苏南大叔提供seo相关经验文章,请点击这里查看:


