使用 Node.js 轻松抓取 GitHub 热门项目

前端

2023-12-11 23:04:03

前言：
在当今数据驱动的世界中，网络抓取已成为获取宝贵信息的有效手段之一。GitHub 作为全球最大的代码托管平台，汇聚了海量优质项目和代码资源。为了便于分析项目趋势、了解行业动态，以及获取开发灵感，掌握网络爬虫技术至关重要。

了解 GitHub API：

GitHub 提供了丰富的 API 接口，让我们能够以编程方式与平台交互，抓取项目信息。以下是几个关键的 API：

获取热门项目列表：GET /repositories?q=stars:>10000&sort=stars&order=desc
获取项目详情：GET /repositories/:owner/:repo
获取项目提交记录：GET /repositories/:owner/:repo/commits

Node.js 爬虫构建：

初始化项目并安装依赖项：
- 使用 Node.js 创建一个新项目。
- 使用 npm 安装必要的依赖项，包括 axios、cheerio 和 fs。
创建抓取逻辑：
- 创建一个函数来抓取 GitHub 热门项目列表。
- 使用 axios 库发送 HTTP 请求，并用 cheerio 库解析 HTML 响应。
- 从解析后的 HTML 中提取项目名称、、星星数、贡献者数等信息。
保存抓取结果：
- 使用 fs 库将抓取到的项目信息保存到本地文件中。
运行爬虫：
- 运行 Node.js 脚本，即可启动爬虫并抓取 GitHub 热门项目。

示例代码：

const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');

// 抓取 GitHub 热门项目列表
async function fetchPopularRepos() {
  const response = await axios.get('https://github.com/trending?since=daily');
  const $ = cheerio.load(response.data);

  // 提取项目信息
  const repos = [];
  $('.repo-list-item').each((i, el) => {
    const repo = {};
    repo.name = $(el).find('.repo-list-name a').text().trim();
    repo.description = $(el).find('.repo-list-description').text().trim();
    repo.stars = parseInt($(el).find('.repo-list-meta-item.stargazers .octicon-star').next().text().trim());
    repo.contributors = parseInt($(el).find('.repo-list-meta-item.octicon-person').next().text().trim());
    repos.push(repo);
  });

  return repos;
}

// 保存抓取结果
async function saveRepos(repos) {
  const data = JSON.stringify(repos);
  fs.writeFileSync('repos.json', data);
}

// 运行爬虫
async function main() {
  const repos = await fetchPopularRepos();
  saveRepos(repos);
}

main();