robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么，不让搜索引擎抓取什么。

意思是允许所有搜索引擎收录，星号代表所有。

在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt的写法还有很多，希望以上这些对大家有帮助。

如果你希望搜索引擎收录网站上所有的内容，那么就不要建立robots.txt文件。

如果同时存在动态和静态链接，那么建议屏蔽动态链接。

robots.txt只能是屏蔽站内文件的，对站外文件没有屏蔽功能。

User-agent，Allow，Disallow，Sitemap的首字母都是大写的。

User-agent，Allow，Disallow，Sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。

网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢，这样就会造成内链之间相互竞争，造成内部资源损耗。

robots.txt会暴露网站相关目录，写robots.txt时要考虑到这一点。

有些seo会将文件直接备份在服务器中，文件是 .zip 格式，然后在robots.txt中屏蔽。个人不建议这样，这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。