web爬虫与代理ip

　　在这个大数据时代，我们无时无刻都在生成数据，对于研究市场环境，获取对应的数据分析是很重要的。而数据的获取，就要用到爬虫ip了。

　　如果一个网站在短时间内检测到同一个代理ip频繁向该网站发送不同的HTTP请求，那么基本上就判断为web爬虫，那么当前的代理ip信息在一段时间内就无法在该网页中正常使用。

　　如果不使用代理ip，只能延长抓取过程中请求的时间间隔和频率，这样才能更好的避免被服务器禁止访问。当然，如果你有很多代理ip资源，你就可以更方便地获得。

　　而且相对比其他解决方法，代理ip池是效果比较好而且使用简单的操作。