puppeteer的简单使用指南

2023-11-23 18:33:07

使用 Puppeteer 自动化爬取掘金个人信息

什么是 Puppeteer

Puppeteer 是谷歌开发的强大自动化工具，可用于控制 Chromium 和 Chrome 浏览器。它让我们能够在浏览器中执行一系列操作，例如鼠标点击、键盘输入和页面滚动，从而实现自动操作。Puppeteer 的本质是让开发者能够像人类一样操作浏览器，但代码比我们编写的更为简洁高效。

利用 Puppeteer 爬取掘金个人信息

现在，让我们进入正题，使用 Puppeteer 爬取掘金用户的个人信息。首先，我们需要创建一个 Puppeteer 项目。可以通过 npm 来生成：

npm init -y

接下来，安装 Puppeteer 库：

npm install puppeteer

然后，我们可以开始编写代码了。以下是爬取掘金个人信息的代码：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://juejin.cn/user/1208372643910302');
  const name = await page.$eval('.username', el => el.textContent);
  const description = await page.$eval('.description', el => el.textContent);
  const location = await page.$eval('.location', el => el.textContent);
  const company = await page.$eval('.company', el => el.textContent);
  const position = await page.$eval('.position', el => el.textContent);
  console.log(`姓名：${name}`);
  console.log(`${description}`);
  console.log(`位置：${location}`);
  console.log(`公司：${company}`);
  console.log(`职位：${position}`);

  await browser.close();
})();