代理IP爬取网站数据技术背景

　　代理IP爬取网站数据技术背景！

　　技术领域

　　[0001] 本发明涉及数据处理技术领域，尤其涉及采用代理IP爬取网站数据的方法、存储介质和服务器。

　　背景技术

　　[0002] 在互联网环境中，数据是非常重要的一种资产，爬虫系统则是有效获取数据的重要途径之一。

　　[0003] 目前，很多网站采取了反爬虫技术，使用同一个IP去爬取网站数据，往往很容易被网站识别拉到黑名单中，从而不能继续爬取网站数据。此时，若想继续获取该网站的数据，采用代理IP访问网站进行数据爬取是有效的途径之一。

　　[0004] 然而，反复采用相同的代理IP爬取网站数据，同样会导致该网站将该代理IP拉入黑名单中，对网站数据的爬取极其不利。

　　发明内容

　　[0005] 本发明实施例提供了一种采用代理IP爬取网站数据的方法、存储介质和服务器，能够保证爬取网站数据的代理IP来源的可靠性，避免反复采用相同的代理IP爬取数据导致代理IP被封的情况。

　　[0006] 第一方面，提供了一种采用代理IP爬取网站数据的方法，包括：

　　[0007] 确定待爬取数据的目标网站;

　　[0008] 根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP 分类预设有各自适用的网站的属性信息;

　　[0009] 从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP;

　　[0010] 从筛选出的所述各个代理IP中选取一个代理IP;

　　[0011] 采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

　　[0012] 第二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

　　[0013] 确定待爬取数据的目标网站;

　　[0014] 根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP 分类预设有各自适用的网站的属性信息;

　　[0015] 从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP;

　　[0016] 从筛选出的所述各个代理IP中选取一个代理IP;

　　[0017] 采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

　　[0018] 第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下