chevsky

搜索引擎是互联网上的一种系统，用户通过输入关键词等，可以方便地查找能够提供有关信息的网站或网页。 每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页