返回

快速上手 Node.js 爬虫：从入门到实践

前端

身处信息海洋，人们常常需要从庞大的互联网中提取有价值的信息，这时，爬虫便成了数据采集的利器。本篇文章将带你从零开始，使用 Node.js 构建一个简单的爬虫，领略爬虫的魅力。

Node.js 爬虫：打开数据之门

首先，让我们对爬虫有一个基本的认识。爬虫，顾名思义，就是像蜘蛛一样在互联网上爬行，从不同的网站中提取数据。有了爬虫，我们就能轻松地从互联网中获取我们需要的信息。

Node.js 爬虫入门

为了构建一个 Node.js 爬虫，我们需要一些工具来帮助我们。本文中，我们将使用 axios 和 cheerio 这两个库。axios 可以帮助我们轻松发送 HTTP 请求，而 cheerio 则可以帮助我们解析 HTML 文档。

利用 axios 发送请求

axios 是一个非常流行的 HTTP 请求库，使用它我们可以轻松地向服务器发送请求。在 Node.js 中安装 axios 后，我们可以使用以下代码来发送一个 GET 请求：

const axios = require('axios');

axios.get('https://example.com')
  .then(function (response) {
    // 请求成功，解析 HTML 文档
    const html = response.data;
    // ...
  })
  .catch(function (error) {
    // 请求失败，处理错误
    console.error(error);
  });

借助 cheerio 解析 HTML 文档

cheerio 是一个非常强大的 HTML 解析库，使用它我们可以轻松地解析 HTML 文档。在 Node.js 中安装 cheerio 后，我们可以使用以下代码来解析一个 HTML 文档：

const cheerio = require('cheerio');

const html = '<html><body><h1>Hello, world!</h1></body></html>';
const $ = cheerio.load(html);

// 获取标题的文本内容
const title = $('h1').text();

// ...

应用实战：数据提取

掌握了 Node.js 爬虫的基本原理后，我们就可以开始应用到实践中了。在本文中，我们将使用 Node.js 爬虫来抓取一个网页上的新闻标题。

const axios = require('axios');
const cheerio = require('cheerio');

// 目标网址
const url = 'https://example.com/news';

// 发送请求，解析 HTML 文档
axios.get(url)
  .then(function (response) {
    const html = response.data;
    const $ = cheerio.load(html);

    // 获取新闻标题
    const titles = [];
    $('h2.news-title').each(function (i, elem) {
      titles.push($(elem).text());
    });

    // 打印新闻标题
    console.log(titles);
  })
  .catch(function (error) {
    console.error(error);
  });

定时任务：让数据爬取自动化

为了让数据爬取自动化，我们可以使用定时任务来定期执行我们的爬虫脚本。在 Node.js 中，我们可以使用 cron 来设置定时任务。

// 使用 cron 设置定时任务
const cron = require('cron');

const task = new cron.CronJob('0 0 * * * *', function() {
  // 爬虫脚本
});

task.start();

结语

通过本文的介绍，我们已经对 Node.js 爬虫有了一个初步的了解。我们学习了如何使用 axios 和 cheerio 来构建爬虫，以及如何使用定时任务来让爬虫自动化运行。相信通过持续的学习和实践，你一定能够掌握 Node.js 爬虫的精髓，并将其应用到实际的项目中去。