qps

1.在大数据采集中，请求头部的名称，查看是否为“爬虫”，常规采集的平台会禁止任何声称自己是“爬虫”的访问者； 2.使用的IP地址是否存在为平台的黑名单内； 3.网站创建页面的JavaScript执行有问题； 4.浏览器的cookie没有在每次发起请求时都发送到了平台上； 5.爬虫在平台上的采集速度过于频繁； 6.异常访问，并不是合法途径请求访问。 7.向采集平台提交表单或发出POST请求参数有问题。 OK，分析出以上的各类问题，接下来就是怎么解决这些问题； 大数据采集的平台，常规的网络管理人员都有做一定的限制，那么我们在使用爬虫ip的时候，做到同正常的用户访问习惯一致的话，那么，就可以有效的解决以上的问题