admok165

搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写： 但是这样我们很容易发现了一个问题，如果有人要破解攻击的话，很容易就知道了后台，一下子就清楚了网站的结构。 我们并不想这样！ 有没有办法让robots.txt既能限制搜索引擎，又不泄露后台地址和隐私目录呢？有！ 这样的写法，禁止所有的搜索引擎抓取根目录下a开头的目录