剖析 Node.js 爬取 cnBeta：前端和后端源码大公开

2023-12-18 14:35:44

科技新闻的浪潮瞬息万变，而 cnBeta 作为国内颇具影响力的科技媒体平台，始终站在风口浪尖，传递着行业最新动向。对于开发者而言，及时获取这些新闻至关重要，而借助 Node.js 的强大功能，我们可以轻而易举地爬取 cnBeta，构建自己的新闻聚合平台。

前端篇：解析 HTML，抽丝剥茧

前端负责从 cnBeta 网页中提取新闻标题、内容和时间等关键信息。借助 cheerio 库，我们可以轻松解析 HTML，定位到目标元素并获取所需数据。下面是前端代码示例：

// 导入 cheerio 库
const cheerio = require('cheerio');

// 加载 cnBeta 网页内容
const html = '<!-- 从 cnBeta 网页获取的 HTML -->';

// 创建 cheerio 对象
const $ = cheerio.load(html);

// 提取新闻标题
const titles = $('h1.article-title').map((i, el) => $(el).text()).get();

// 提取新闻内容
const contents = $('div.article-content').map((i, el) => $(el).text()).get();

// 提取新闻时间
const times = $('span.date').map((i, el) => $(el).text()).get();

通过这种方式，我们可以高效地从 HTML 中获取所需信息，为后续的后端处理做准备。

后端篇：数据库持久化，搭建新闻库

后端负责将爬取到的新闻数据持久化到数据库中，以便后续查询和使用。这里我们使用 MongoDB 作为数据库，借助 mongoose 库进行数据操作。下面是后端代码示例：

// 导入 mongoose 库
const mongoose = require('mongoose');

// 创建新闻模型
const NewsSchema = new mongoose.Schema({
  title: String,
  content: String,
  time: Date
});
const News = mongoose.model('News', NewsSchema);

// 连接数据库
mongoose.connect('mongodb://localhost:27017/cnbeta-news', {
  useNewUrlParser: true,
  useUnifiedTopology: true
});

// 保存新闻数据
const saveNews = async (news) => {
  const newNews = new News(news);
  await newNews.save();
};

// 查询新闻数据
const getNews = async () => {
  return await News.find();
};