node 爬虫通用指南：如何设置随机 UA 和代理池？

前端

2023-11-01 03:28:34

网络爬虫的秘密武器：随机 UA 和代理池

在浩瀚的互联网海洋中，网络爬虫犹如潜航艇，收集着各种各样的数据。为了不被网站发现和阻拦，爬虫需要借助两件秘密武器：随机 UA 和代理池。

一、为什么需要设置随机 UA 和代理池？

1. UA（User-Agent）

UA 是浏览器发送给网站的请求头信息，它包含了浏览器类型、操作系统、版本等信息。当网站收到请求后，可以根据 UA 判断用户的真实身份。如果爬虫使用固定的 UA，网站很容易识别并屏蔽。

2. 代理池

代理服务器就像互联网上的中介人，当爬虫通过代理服务器发送请求时，网站看到的不是爬虫的真实 IP 地址，而是代理服务器的 IP 地址。这样，爬虫可以隐藏自己的身份，避免被网站封禁。

二、如何设置随机 UA？

在 Node.js 中，可以轻松地设置随机 UA：

const userAgents = [
  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
  "Mozilla/5.0 (Macintosh; Intel Mac OS X 12_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.1 Safari/605.1.15",
  "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36",
  "Mozilla/5.0 (Macintosh; Intel Mac OS X 12_2) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.2 Safari/605.1.15",
];

const randomUA = () => {
  return userAgents[Math.floor(Math.random() * userAgents.length)];
};

三、如何设置代理池？

同样地，在 Node.js 中设置代理池也很简单：

const proxyPool = [
  {
    host: "127.0.0.1",
    port: 8080,
  },
  {
    host: "127.0.0.2",
    port: 8081,
  },
  {
    host: "127.0.0.3",
    port: 8082,
  },
];

const randomProxy = () => {
  return proxyPool[Math.floor(Math.random() * proxyPool.length)];
};

四、如何使用随机 UA 和代理池？

将随机 UA 和代理信息添加到请求头中即可使用它们：

const request = require("request");

const url = "https://www.example.com";
const options = {
  headers: {
    "User-Agent": randomUA(),
    "Proxy-Authorization": `Basic ${Buffer.from(`${randomProxy().host}:${randomProxy().port}`).toString("base64")}`,
  },
};

request(url, options, (error, response, body) => {
  if (error) {
    console.error(error);
  } else {
    console.log(body);
  }
});