Bing 宣布了增强的 Robots.txt 测试工具。 该工具满足了一项重要需求，因为错误的 robots.txt 可能会导致意外的 SEO 结果。 制作一个完美的 robots.txt 文件是必不可少的，也是 SEO 的重中之重。
robots.txt 文件是告诉搜索引擎爬虫在网站上做什么和不做什么的文件。 robots.txt 文件是发布商可以控制搜索引擎的少数几种方式之一。
即使您不需要阻止搜索爬虫，拥有一个搜索爬虫仍然很重要，以免生成不必要的 404 错误日志符号。
Robots.txt 文件中的错误可能会导致搜索引擎抓取它们不应该编入索引的页面。
robots.txt 文件中的意外条目也可能导致网页不排名，因为它们被意外阻止。
发布商现在可以主动审查和测试他们的 Robots.txt 文件。
测试以查看搜索爬虫如何响应 robots.txt 并诊断可能的问题是可以帮助发布者的 SEO 的重要功能。
该工具还有助于搜索审计顾问帮助他们识别可能需要纠正的问题。
Bing 的新工具满足了一个重要的需求，正如 Bing 所述：
“虽然机器人排除协议能够通知网络机器人和爬虫程序不应处理或扫描网站的哪些部分，但越来越多的搜索引擎和参数迫使网站管理员在数百万个文件夹中搜索他们的 robots.txt 文件在他们的托管服务器上，在没有指导的情况下编辑它们，最后因为那个不需要的爬虫问题仍然存在而摸不着头脑。”
以下是 Bing robots.txt 工具为提供可操作信息而采取的操作：
根据必应：
“Robots.txt 测试器不仅可以帮助网站管理员分析他们的 robots.txt 文件，还可以突出显示阻止他们被 Bing 和其他机器人以**方式抓取的问题； 但是，它也一步一步地引导他们从获取最新文件到在适当的地址上传相同的文件。
”
阅读官方公告：
必应网站管理员工具可轻松编辑和验证您的 Robots.txt