网络爬虫如何添加爬虫代理

laical · · 822 次点击 · · 开始浏览

这是一个创建于的文章，其中的信息可能已经有所发展或是发生改变。

现在的互联网时代，大数据的进步，网络爬虫也越来越多的网络爬虫用户。网络爬虫用户在做业务是，访问目标网站时会触发目标网站的反爬机制。由于网络爬虫用户的请求量大和采集速度快，就会导致出现这种情况，如何解决这种情况，就需要用到常见的爬虫代理IP了。那网络爬虫如何寻找这些有效的爬虫代理IP呢？

1、浏览器上搜索免费代理IP

2、通过自己的爬虫程序去爬取IP

3、通过浏览器或者代码验证IP的有效性

4、保存文本格式

网上爬虫取到的免费代理加到自己的IP池去使用，有些代理虽然能用。但是对于公司业务或者是对代理IP的质量要求高的爬虫用户，不建议使用网上的免费代理，在使用免费代理的过程中很有可能会出现IP失效，网络不稳定，安全性和稳定性等问题，质量明显不行。至于如何选择取决于自己的需求，个人建议使用自动转发的爬虫代理更加稳定，效果好。

在网络爬虫项目中使用自动转发的爬虫代理，能够有效地减少爬虫被目标网站限制。

添加爬虫代理IP池demo：

const http = require("http");
const url = require("url");

// 要访问的目标页面
const targetUrl = "http://httpbin.org/ip";


const urlParsed = url.parse(targetUrl);

// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = "36600";

// 生成一个随机 proxy tunnel
var seed = 1;
function random() {
    var x = Math.sin(seed++) * 10000;
    return x - Math.floor(x);
}
const tunnel = random()*100;

// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";

const base64    = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {
    host: proxyHost,
    port: proxyPort,
    path: targetUrl,
    method: "GET",
    headers: {
        "Host": urlParsed.hostname,
        "Proxy-Tunnel": tunnel,
        "Proxy-Authorization" : "Basic " + base64
    }
};

http.request(options, function (res) {
    console.log("got response: " + res.statusCode);
    res.pipe(process.stdout);
}).on("error", function (err) {
    console.log(err);
}).end();

有疑问加站长微信联系（非本文作者）