somebot

搜索引擎使用蜘蛛程序自动访问Internet上的网页并获取网页信息。当蜘蛛访问网站时，它首先检查网站的根域下是否有名为robots.txt的纯文本文件。此文件用于指定网站上蜘蛛的爬网范围