微博相册爬虫：一键下载微博图片

2023-12-22 05:56:21

问题背景

随着微博成为分享图片和视频的流行平台，用户可能会希望保存和下载他们喜爱的内容。虽然微博允许用户手动保存单个图片，但对于希望批量下载相册中所有图片的用户来说，这可能非常耗时。借助 Python 和几个库的强大功能，我们可以轻松地自动化这个过程，创建我们自己的微博相册图片爬虫。

1. 准备工作

在开始我们的爬虫之旅之前，我们需要确保我们的计算机已经安装了必要的软件和工具：

Python 3.x
pip（用于安装 Python 库）
Selenium（用于控制浏览器）
BeautifulSoup（用于解析 HTML 代码）
WebDriver Manager（用于自动下载并安装必要的浏览器驱动程序）

要安装这些库，请使用 pip 命令：

pip install selenium
pip install beautifulsoup4
pip install webdriver-manager

接下来，我们需要下载与我们使用的浏览器版本相对应的 ChromeDriver。ChromeDriver 是一个允许 Selenium 控制 Chrome 浏览器的 Web 驱动程序。将下载的 ChromeDriver 压缩包解压到一个文件夹中，然后将其添加到系统的环境变量中。

2. 编写爬虫代码

有了必要的工具后，就可以编写爬虫代码了。我们将使用 Selenium 来模拟浏览器的行为，并使用 BeautifulSoup 来解析 HTML 代码。以下是爬虫代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import requests

# 创建一个 Chrome 浏览器实例
driver = webdriver.Chrome()

# 打开微博登录页面
driver.get("https://weibo.com/login")

# 输入用户名和密码
username = input("请输入您的微博用户名：")
password = input("请输入您的微博密码：")
driver.find_element_by_id("loginname").send_keys(username)
driver.find_element_by_id("pl_login_form").submit()

# 打开要爬取的微博相册页面
album_url = input("请输入要爬取的微博相册 URL：")
driver.get(album_url)

# 解析 HTML 代码，提取图片 URL
soup = BeautifulSoup(driver.page_source, "html.parser")
image_urls = [img["src"] for img in soup.find_all("img", class_="weibo_img_org")]

# 下载图片
for image_url in image_urls:
    response = requests.get(image_url)
    with open(f"image_{image_urls.index(image_url)}.jpg", "wb") as f:
        f.write(response.content)

# 关闭浏览器实例
driver.close()