socks

1.在大数据采集中，请求头部的名称，查看是否为“爬虫”，常规采集的平台会禁止任何声称自己是“爬虫”的访问者； 2.使用的IP地址是否存在为平台的黑名单内； 3.网站创建页面的JavaScript执行有问题； 4.浏览器的cookie没有在每次发起请求时都发送到了平台上； 5.爬虫在平台上的采集速度过于频繁； 6.异常访问，并不是合法途径请求访问。 7.向采集平台提交表单或发出POST请求参数有问题。 OK，分析出以上的各类问题，接下来就是怎么解决这些问题； 大数据采集的平台，常规的网络管理人员都有做一定的限制，那么我们在使用爬虫ip的时候，做到同正常的用户访问习惯一致的话，那么，就可以有效的解决以上的问题

socks4/5和http代理有什么区别？代理服务器的类型很多，如HTTP代理、FTP代理、SOCKS代理等，每种代理对应其自身的功能。 能够代理客户机的HTTP访问，主要是代理浏览器访问网页，它的端口一般为80、8080、3128等； FTP代理： 能够代理客户机上的FTP软件访问FTP服务器，它的端口一般为21、2121； RTSP代理： 代理客户机上的Realplayer访问Real流媒体服务器的代理，其端口一般为554； POP3代理： 代理客户机上的邮件软件用POP3方式收发邮件，端口一般为110； SOCKS代理： SOCKS代理与其他类型的代理不同，它只是简单地传递数据包，而并不关心是何种应用协议，既可以是HTTP请求，所以SOCKS代理服务器比其他类型的代理服务器速度要快得多。SOCKS代理又分为SOCKS4和SOCKS5，二者不同的是SOCKS4代理只支持TCP协议（即传输控制协议），而SOCKS5代理则既支持TCP协议又支持UDP协议（即用户数据包协议），还支持各种身份验证机制、服务器端域名解析等