掘金热榜爬取：使用 Puppeteer 自动化抓取掘金热文，让您不错过任何干货

后端

2023-10-06 15:20:55

使用 Puppeteer 爬取掘金热榜上的热门文章

前言

掘金作为国内领先的技术社区，汇集了众多优秀的开发者和技术爱好者。而掘金热榜则展示了社区内最受关注的技术文章，是了解业界动态和学习新知识的重要渠道。如果你想要快速高效地获取热榜信息，可以使用 Puppeteer 来实现文章爬取。

什么是 Puppeteer？

Puppeteer 是一个功能强大的 Node.js 库，可以帮助你自动化浏览器操作，包括点击按钮、填写表单和抓取数据。它通常用于前端测试和自动化任务。

先决条件

在开始之前，你需要确保已经安装了以下软件：

Node.js
Puppeteer

你可以通过以下命令安装 Node.js 和 Puppeteer：

npm install -g nodejs
npm install -g puppeteer

步骤

1. 创建一个新的 Node.js 项目

mkdir puppeteer-掘金热榜
cd puppeteer-掘金热榜
npm init -y

2. 在项目中安装 Puppeteer

npm install puppeteer

3. 创建一个新的 JavaScript 文件

touch index.js

4. 在 JavaScript 文件中添加以下代码

const puppeteer = require('puppeteer');

(async () => {
  // 启动浏览器
  const browser = await puppeteer.launch();

  // 打开掘金首页
  const page = await browser.newPage();
  await page.goto('https://juejin.cn/');

  // 等待热榜元素加载完成
  await page.waitForSelector('.hot-list');

  // 获取热榜文章标题
  const titles = await page.$eval('.title', elements => elements.map(element => element.textContent));

  // 获取热榜文章链接
  const links = await page.$eval('.title a', elements => elements.map(element => element.href));

  // 关闭浏览器
  await browser.close();

  // 打印热榜文章标题和链接
  console.log(titles);
  console.log(links);
})();