网站操作神器：用puppeteer简单爬取电影天堂

2024-02-22 02:28:46

《使用puppeteer上电影天堂》

电影天堂是一个非常受欢迎的电影下载网站，拥有海量的电影资源和丰富的分类。然而，由于版权原因，电影天堂经常会受到相关部门的封锁和打击，导致用户无法正常访问。为了解决这个问题，我们可以使用puppeteer来模拟浏览器操作，自动访问电影天堂并下载电影。

puppeteer简介

Puppeteer是一个非常流行的自动化工具，可以用来模拟浏览器操作。它是一个Node.js库，使用Chrome DevTools协议来控制Chrome或Chromium浏览器。Puppeteer可以用来做很多事情，比如：

自动化测试
屏幕截图
数据采集
网页渲染

Puppeteer非常易于使用，只需要几行代码就可以完成一个简单的任务。

使用puppeteer爬取电影天堂

下面我们将使用puppeteer来爬取电影天堂的电影资源。

首先，我们需要安装puppeteer：

npm install puppeteer

然后，我们需要创建一个新的JavaScript文件，比如movie.js：

const puppeteer = require('puppeteer');

(async () => {
  // 启动puppeteer
  const browser = await puppeteer.launch();

  // 打开一个新的页面
  const page = await browser.newPage();

  // 导航到电影天堂首页
  await page.goto('https://www.dy2018.com/');

  // 等待页面加载完成
  await page.waitForSelector('body');

  // 获取所有电影列表
  const movies = await page.$('.co_content8 ul li');

  // 循环遍历电影列表，获取电影标题和下载链接
  for (const movie of movies) {
    const title = await movie.$eval('a', el => el.textContent);
    const link = await movie.$eval('a', el => el.href);

    console.log(`${title}: ${link}`);
  }

  // 关闭浏览器
  await browser.close();
})();