Puppeteer 入门与实战：轻松玩转 Headless Chrome

2023-11-01 21:36:11

Puppeteer 入门

Puppeteer 的安装非常简单，只需要使用 npm 安装即可：

npm install puppeteer

安装完成后，就可以开始使用 Puppeteer 了。首先，我们需要创建一个 Puppeteer 实例：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  const title = await page.title();
  console.log(title);

  await browser.close();
})();

这段代码首先创建了一个 Puppeteer 实例，然后打开了一个新的页面并导航到 https://example.com。接下来，它获取页面的标题并将其打印到控制台。最后，它关闭浏览器。

Puppeteer 实战

Puppeteer 可以用来做很多事情，包括：

爬取网页数据
自动化测试
生成截图
创建 PDF 文档
执行 JavaScript 代码
控制浏览器行为

我们来看一个简单的例子，如何使用 Puppeteer 来爬取网页数据。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  const titles = await page.$eval('h1', (elements) => {
    return elements.map((element) => element.innerText);
  });

  console.log(titles);

  await browser.close();
})();

这段代码首先创建了一个 Puppeteer 实例，然后打开了一个新的页面并导航到 https://example.com。接下来，它使用 $$eval() 方法获取页面中所有 h1 标签的文本内容并将其打印到控制台。最后，它关闭浏览器。

Puppeteer 常见问题

在使用 Puppeteer 时，你可能会遇到一些常见问题。这里列出了一些常见问题以及如何解决这些问题：

Puppeteer 启动失败

这个问题通常是由于缺少必要的依赖项引起的。确保你已经安装了 Node.js 和 Chrome。
Puppeteer 无法导航到页面

这个问题通常是由于 Puppeteer 实例没有正确启动引起的。确保你已经正确地调用了 puppeteer.launch() 方法。
Puppeteer 无法获取页面元素

这个问题通常是由于 Puppeteer 实例没有正确地加载页面引起的。确保你已经正确地调用了 page.goto() 方法。