欢迎来到智连IP官方网站!

联系热线:400-998-9776 转3网站地图

揭秘爬取IP代理如何偷偷给文章刷阅读量?

发布时间:2020-02-06 14:51 阅读: 来源:代理ip

  揭秘爬取IP代理如何偷偷给文章刷阅读量?
揭秘爬取IP代理如何偷偷给文章刷阅读量
  一、前言
  原本是想开始维护IP代理池,继续python爬虫进阶之路,但在看其他人写的IP代理爬取的文章时,发现可以把爬下来的IP用来给CSDN博客里的文章刷阅读量,于是就刷了1k+的阅读量......
  想当初开始python爬虫和数据可视化的写作时,写完处女作《爬取张佳玮138w+知乎关注者:数据可视化》后,立马注册了简书、CSDN账号,并分别投放了文章,但两者的境遇可谓天差地别,简书上一日之间上了网站首页并被加入今日看点等诸多专题,而CSDN上几乎无人问津,截止昨日过去20多天,才120+左右阅读......相比之下,明显感受到了简书对小透明的友善,截止今晚“阅读 2605  评论 22  喜欢 82  赞赏 3”,当然和大V的文章不能比,但也还算过得去。
  二、代码
  代码直接参考了下文,更多解读参见原文,其中将ip提取部分修改了下,并将用来测试IP是否可用的百度url改成了CSDN博客里文章的url。
  爬虫(2)--- 构建简单代理IP池
  http://www.zhilianip.com/p/ecf5353333f6
  当然也可以去试试其他网站能不能刷阅读量,最开始试了下简书,发现无效,可能记录的是每个用户的阅读,所以单纯IP访问而账号未登录的话,可能无法增加阅读量。
  再就是试了下CSDN,发现阅读量蹭蹭上涨后,也是有点害怕,不知道会不会被封IP和账号,后续也还是不敢放开地刷数据,只能算是娱乐下。(两篇文章分别从20+和120+阅读刷到了现在的数据,请不要举报我)
  另外也试了下豆瓣......嗯,立马就“403”,上不去了,所以看了本文想刷其他网站数据的朋友,还是三思而行,如果账号被封,概不负责哦。==。
  代码(py3.5版本):
  # coding: utf-8
  import urllib.request
  import urllib.parse
  import time
  from multiprocessing import Pool#多进程
  import random
  from lxml import etree  #解析
  def GetUserAgent():
  '''
  功能:随机获取HTTP_User_Agent
  '''
  user_agents=[
  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
  "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
  "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
  "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
  "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
  "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
  "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
  "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
  "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
  "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"
  ]
  user_agent = random.choice(user_agents)
  return user_agent
  def getProxies():
  '''
  功能:爬取西刺高匿IP构造原始代理IP池
  '''
  init_proxies = []
  ##爬取前五页
  for i in range(1,6):
  print("####")
  print("####爬取第"+str(i)+"页####")
  print("####")
  print("IP地址\t\t\t端口\t存活时间\t\t验证时间")
  url = "http://www.xicidaili.com/nn/"+str(i)
  user_agent = GetUserAgent()
  headers=("User-Agent",user_agent)
  opener = urllib.request.build_opener()
  opener.addheaders = [headers]
  try:
  data = opener.open(url,timeout=5).read()
  except Exception as er:
  print("爬取的时候发生错误,具体如下:")
  print(er)
  selector=etree.HTML(data)
  '''
  ip_addrs = selector.xpath('//tr[@class="odd"]/td[2]/text()')  #IP地址
  port = selector.xpath('//tr[@class="odd"]/td[3]/text()')  #端口
  sur_time = selector.xpath('//tr[@class="odd"]/td[9]/text()')  #存活时间
  ver_time = selector.xpath('//tr[@class="odd"]/td[10]/text()')  #验证时间
  '''
  #原代码只提取了奇数行部分,修改下
  ip_addrs = selector.xpath('//tr/td[2]/text()')  #IP地址
  port = selector.xpath('//tr/td[3]/text()')  #端口
  sur_time = selector.xpath('//tr/td[9]/text()')  #存活时间
  ver_time = selector.xpath('//tr/td[10]/text()')  #验证时间
  for j in range(len(ip_addrs)):
  ip = ip_addrs[j]+":"+port[j]
  init_proxies.append(ip)
  #输出爬取数据
  print(ip_addrs[j]+"\t\t"+port[j]+"\t\t"+sur_time[j]+"\t"+ver_time[j])
  return init_proxies
  def testProxy(curr_ip):
  '''
  功能:验证IP有效性
  @curr_ip:当前被验证的IP
  '''
  tmp_proxies = []
  #socket.setdefaulttimeout(10)  #设置全局超时时间
  #tarURL = "http://www.baidu.com/"
  #tarURL = "http://blog.csdn.net/deserts_x/article/details/76726885" #CSDN-老树画画
  tarURL = "http://blog.csdn.net/deserts_x/article/details/76409116" #CSDN-张佳玮
  user_agent = GetUserAgent()
  proxy_support = urllib.request.ProxyHandler({"http":curr_ip})
  opener = urllib.request.build_opener(proxy_support)
  opener.addheaders=[("User-Agent",user_agent)]
  urllib.request.install_opener(opener)
  try:
  res = urllib.request.urlopen(tarURL,timeout=5).read()
  if len(res)!=0:
  tmp_proxies.append(curr_ip)
  except urllib.error.URLError as er2:
  if hasattr(er2,"code"):
  print("验证代理IP("+curr_ip+")时发生错误(错误代码):"+str(er2.code))
  if hasattr(er2,"reason"):
  print("验证代理IP("+curr_ip+")时发生错误(错误原因):"+str(er2.reason))
  except Exception as er:
  print("验证代理IP("+curr_ip+")时发生如下错误):")
  print(er)
  time.sleep(2)
  return tmp_proxies
  def mulTestProxies(init_proxies):
  '''
  功能:多进程验证IP有效性
  @init_proxies:原始未验证代理IP池
  '''
  pool = Pool(processes=7)
  fl_proxies = pool.map(testProxy,init_proxies)
  pool.close()
  pool.join()  #等待进程池中的worker进程执行完毕
  return fl_proxies
  if __name__ == '__main__':
  #---(1)获取代理IP池
  init_proxies = getProxies()  #获取原始代理IP
  tmp_proxies = mulTestProxies(init_proxies) #多进程测试原始代理IP
  proxy_addrs = []
  for tmp_proxy in tmp_proxies:
  if len(tmp_proxy)!=0:
  #print(tmp_proxy)
  proxy_addrs.append(tmp_proxy)
  print(len(proxy_addrs))
  print(proxy_addrs)
  三、小结
  关于爬取和维护IP代理池的文章网上其实不少,简书上也不少,对于想要爬虫进阶的人来说一定是会碰到的,毕竟当你想大规模爬取某网站数据时,只靠自己电脑的IP在单位时间里大量访问的话,多半会出事,而为了爬取效率起见,就需要大量IP车轮战,前仆后继地上了。
  提供免费IP代理的网站也不少,当然质量并不好,大多IP并不能用,这也是在维护IP代理池时,需要靠不断爬取、检测和更新IP解决的。
本文源自智连IP官方网站(www.zhilianip.com),转载请注明出处,否则追究法律责任!!

看过本文的人还看过……

热点文章推荐

分享: