了解自动转发的爬虫代理

laical · 2020-08-14 17:34:54 · 3470 次点击 · 大约8小时之前 开始浏览    置顶
这是一个创建于 2020-08-14 17:34:54 的主题,其中的信息可能已经有所发展或是发生改变。

用过HTTP代理的爬虫都知道,一般使用HTTP代理向目标网站发出请求。目标网站会返回相关数据到自己爬虫客户端,爬虫一直持续这样的流程。而爬虫用户通过不断维护自己的IP池,爬虫程序通过HTTP代理向目标网站发出请求获取,这是常见使用代理的方法。 自动转发的爬虫代理使用流程: 爬虫用户通过设置亿牛云代理信息,向目标网站发出请求即可,固定服务器将随机分配一个代理IP向目标发出请求获取数据结果。 自动转发的爬虫代理原理: 通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力 亿牛云爬虫代理与传统API提取代理的区别: 传统API提取式代理,通过URL定时获取代理IP信息,需验证IP的可用性、更换代理设置,同时需要设计多线程异步IO,实现代理IP并发处理,不仅繁琐,而且影响效率。 “亿牛云爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。 使用自动转发的爬虫代理代码demo:

#! -*- encoding:utf-8 -*-
from urllib import request
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}
proxy_handler = request.ProxyHandler({
    "http"  : proxyMeta,
    "https" : proxyMeta,
})        
opener = request.build_opener(proxy_handler)
request.install_opener(opener)
resp = request.urlopen(targetUrl).read()
print (resp)              

使用动态转发的代理,需要一定的爬虫研发基础,直接参考亿牛云代理相关代码demo调试接口使用即可。


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

3470 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传