了解动态代理IP

动态代理IP，简单来说这个IP会随时随机发生变化，不是固定的，就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。

动态IP分为长效代理和短效代理：

长效代理代理IP：支持采集数据或者游戏挂机等许多业务，由于网络爬虫采集的数据量比较大，很少会选择长效代理，长效代理IP就相当于本地IP一样，访问一个网站久了自然IP也会被限制，而且采集的量非常小。不利于爬虫使用。

短效代理IP：支持数据抓取、seo优化、 APP刷量，问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大，使用动态短效代理IP去进行数据采集的话，能大大提高业务效率。

爬虫用户使用动态代理IP好处：

1、解决了工作中的各种问题

2、降低了成本，提高了业务效率

动态代理IP分为透明代理，匿名代理，高匿代理。以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。

高匿代理自然也是动态代理IP类型中质量最好的一种，不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要，保证自己的业务效果和质量。

透明代理和匿名代理虽然也是代理IP，但是大大降低的爬虫业务的进展和效率，所以网络爬虫选择隧道转发的爬虫代理才是正确选择。

对于网络爬虫来说，动态ip代理是非常合理的出现，也是因为有需求，才会选择高质量的爬虫代理IP

const http = require("http");
const url = require("url");

// 要访问的目标页面
const targetUrl = "http://httpbin.org/ip";


const urlParsed = url.parse(targetUrl);

// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = "36600";

// 生成一个随机 proxy tunnel
var seed = 1;
function random() {
    var x = Math.sin(seed++) * 10000;
    return x - Math.floor(x);
}
const tunnel = random()*100;

// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";

const base64    = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {
    host: proxyHost,
    port: proxyPort,
    path: targetUrl,
    method: "GET",
    headers: {
        "Host": urlParsed.hostname,
        "Proxy-Tunnel": tunnel,
        "Proxy-Authorization" : "Basic " + base64
    }
};

http.request(options, function (res) {
    console.log("got response: " + res.statusCode);
    res.pipe(process.stdout);
}).on("error", function (err) {
    console.log(err);
}).end();

原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/53176.html

了解动态代理IP

相关推荐

发表回复