baiduspider

根据百度官方SEO指南，“Baiduspider对站点的抓取方式和普通用户访问一样，只要普通用户能访问到的内容，我们就能抓取到。不管是用什么技术，只要能保证用户能流畅的访问网站，对搜索引擎就没有影响”。在CDN不稳定、因为受到恶意攻击出现更换IP地址的情况下，或者DNS缓存或者爬虫本身的缓存问题，导致爬虫的访问出现异常，对SEO会有一定的影响

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。 查看日志的方式： 通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。 因为各个服务器和主机的情况不同，不同的主机日志功能记录的内容不同，有的甚至没有日志功能

搜索引擎使用蜘蛛程序自动访问Internet上的网页并获取网页信息。当蜘蛛访问网站时，它首先检查网站的根域下是否有名为robots.txt的纯文本文件。此文件用于指定网站上蜘蛛的爬网范围

造成服务器带宽跑满的原因有很多，大致可以归结为以下几类： Windows 系统服务器中病毒或站点挂马，导致服务器内部有对外发包的文件。 建议在服务器上安装杀毒软件，进行杀毒。可以通过任务管理器中查看是否异常进程