用爬虫记录2000+大学国庆氛围，我的国庆不放假

见解分享

2024-01-10 05:40:36

一个爬虫工程师的国庆假期，给您展示2000+大学国庆氛围

前言

最近张蛋蛋同学想要做个国庆vlog，却苦于没有素材。作为一名合格的计算机系学生，我灵机一动，何不从一个程序员的角度展示国庆氛围呢？

爬虫抓取大学国庆氛围

确定目标后，就要设计爬取方案了。每个学校主页的截图可以用Selenium + Python轻松实现。对于Selenium不熟悉的读者，可以参考我的另一篇文章《用Python + Selenium爬取动态网页》。

1. 确定目标网址

首先，我们需要确定目标网址，即全国所有大学的官方主页。由于教育部官网并没有提供所有大学的网址，因此需要我们自己搜集。

我使用了以下方法：

从百度百科的中国高等教育机构列表中提取大学名称。
通过Google搜索每个大学名称，找到其官方主页。

2. 编写爬虫代码

import time
from selenium import webdriver

# 设置无头模式
options = webdriver.ChromeOptions()
options.add_argument('--headless')

# 创建浏览器对象
browser = webdriver.Chrome(options=options)

# 循环遍历所有大学网址
for url in urls:
    try:
        # 访问大学主页
        browser.get(url)
        
        # 等待页面加载完成
        time.sleep(1)
        
        # 截图并保存
        browser.save_screenshot(f'screenshots/{url.split("/")[-1]}.png')
        
    except Exception as e:
        print(f'抓取{url}失败：{e}')

# 关闭浏览器
browser.close()