为什么说要给我们的网站制作一个robots文件？一般我制作robots文件都是在于网站建设好之后就开始制作的一个过程，robots文件与sitemap网站地图同时制作，然而上传网站根目录，最后提交给百度。
如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如我们要禁止百度抓取来抓取收录我们网站的动态链接，则可以这样书写：Disallow: /*?*。
同时除了要设置robots协议之外，还可以在网页代码里面设置。在网页之间加入代码。表示紧致所有搜索引擎抓取网站和显示快照。如果要针对某一个搜索引擎禁止抓取，在网页之间加入代码，表示禁止百度抓取，表示禁止谷歌抓取，其他的搜索引擎一样原理。
除了以上说的，还有一个更简单的操作方法就是通过一款工具同时来实现制作robots文件和网站地图Sitemap，但用来用去觉得比较好的还是爱站seo工具，真心不错，简单易懂，容易上手，你们可以去试试看。要做好seo优化，是必须要做的。