disallow

robots 协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是 robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不希望被抓取。 搜索引擎蜘蛛自动访问互联网上的网页井获取网页信息，它在访问一个网站时，首先会检查该网站的根目录下是否含有robots.txt的文本文件，该文件主要用来限定搜索引擎蜘蛛在网站上的抓取范围。这时可以在网站中创建一个robots.txt，在文件中声明该网站中不希望被搜索引擎收录的网页或者指定搜索引擎收录的网页

robots.txt是网站主建立与搜索引擎之间沟通的一座桥梁。其文件常见问题很多，下面列举一些我们经常犯的一些错误： 1、robots.txt的位置应该放在那里？ 2、我建立了robots.txt文件屏蔽了网页，为什么还会出现在搜索结果中呢？ 如果在robots.txt中屏蔽了该url路径，按常理来将是不会出现的搜索结果中的，但是很多情况下并不是这样，原因如下： 1.蜘蛛程序通过其他链接直接进入网站的内页，导致被爬取并收录； 2.robots.txt文件是后期修改，搜索结果还未进行更新； 以上经过一段时间的更新就会逐渐消失，如果被抓取的网页涉及到一些隐私，可以直接想相关搜索引擎反映。 g、仅允许访问以.html为后缀的URL 注意：如果还有其他格式，可以再进行添加Disallow：如果允许抓取某一类型的图片，将“Disallow修改为“Allow即可