Puppeteer 快速指南：用 Node.js 抓取网站数据

2023-10-04 22:05:33

使用 Node.js 和 Puppeteer 征服自动化网络操作

准备好踏上探索网络自动化迷人世界的旅程了吗？我们将在本文中携手 Node.js 和 Puppeteer，帮助你掌握网页数据抓取、屏幕截图截取和自动化测试的精髓。

Node.js 和 Puppeteer：强强联手

Node.js ，一个JavaScript运行时环境，让你在服务器端挥洒 JavaScript 代码的魅力。它与 Puppeteer 珠联璧合，基于 DevTools 协议，为你提供了一套先进的 API，让你轻松控制谷歌 Chrome 或 Chromium 浏览器。这意味着你可以轻而易举地模拟人类与浏览器的互动，从页面抓取数据到执行自动化测试，应有尽有。

Puppeteer 的基本用法

就像学习任何新技能一样，掌握 Puppeteer 的基础知识是至关重要的。让我们从头开始吧：

安装 Puppeteer ：首先，使用 npm 安装 Puppeteer：

npm install puppeteer

导入 Puppeteer 库 ：引入 Puppeteer 库，为你的代码注入 Puppeteer 的强大功能：

const puppeteer = require('puppeteer');

启动浏览器 ：准备好与 Chrome 或 Chromium 浏览器亲密接触了吗？启动一个新的浏览器实例：

const browser = await puppeteer.launch();

打开网页 ：打开你感兴趣的网页，开启数据抓取之旅：

const page = await browser.newPage();
await page.goto('https://example.com');

获取网页内容 ：需要网页上明晃晃的数据？使用 Puppeteer，轻轻松松搞定：

const content = await page.content();

关闭浏览器 ：玩耍结束，善后工作也不能少，关闭浏览器：

await browser.close();

使用 Puppeteer 抓取网页数据

Puppeteer 可不只是一名网络自动化工具，它还是一名出色的数据挖掘师。让我们看看如何从网页中提取宝贵的信息：

抓取文本数据

获取网页上的文本内容，就像摘取果园里的苹果：

const text = await page.$eval('body', el => el.innerText);

抓取图像数据

图像数据，图片爱好者的天堂！Puppeteer 助你一臂之力：

const images = await page.$eval('img', imgs => imgs.map(img => img.src));

抓取链接数据

链接，网页世界的导航指南，Puppeteer 帮你搞定：

const links = await page.$$eval('a', anchors => anchors.map(anchor => anchor.href));

使用 Puppeteer 截取屏幕截图

有时候，一张图片胜过千言万语。Puppeteer 让你轻松截取网页屏幕截图，记录精彩瞬间：

await page.screenshot({path: 'screenshot.png'});

使用 Puppeteer 执行自动化测试

自动化测试，软件开发的守护神，Puppeteer 让你事半功倍：

await page.click('button');
await page.waitForNavigation();
const text = await page.$eval('body', el => el.innerText);
expect(text).toBe('Hello, world!');