看了很多网站优化的文章,都很少提及如何检查网站的robots.txt,大多就说明一下robots.txt要设置好。对于高手来讲,这是小菜一碟,可以轻松判断robots.txt是否合理,但对于一些菜鸟来讲,根本无法判断自己网站的robots.txt是否合理,一个错误的robots.txt文件会使搜索引擎机器无法挖掘你的网站,其结果是你的新内容无法列举在搜索引擎的索引中。这对网站站长来说是一个巨大的损坏。如果你做错了什么并重新编辑 robots.txt文件的话,它需要两个星期才能看到效果。因此一个正确的robots.txt是很重要的。今天番禺网站建设给大家介绍两个检查网站robots.txt的方法,希望对大家有用。
Google网站管理员工具可以在线验证robots文件,分析网站的 robots.txt 文件,方法是:登入Google 网站管理员工具后,在"控制台"中,点击所需网站后,点击工具,然后点击分析 robots.txt。
另外如果你不知道怎么写robots.txt,你可以通过Google 网站管理员工具提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件,把你想要禁止的文件或目录通过 robots.txt格式制作好后,复制到google提供的robots区,然后你可以在robots.txt文件测网址区测试下你刚才写的 robots.txt文件是否正确。这样你就可以设置出一个正确的robots.txt了。
具体视图如下: