Python爬虫从豆瓣电影里给你搬运好评

前端

2024-01-15 11:13:59

电影迷们宝藏来袭，从豆瓣好评评论里寻觅下一部观影佳片

豆瓣电影，作为国内最大的电影评论网站，汇聚了数千万部电影的评论信息。这些评论信息对于喜欢看电影的人来说，是非常有价值的。

从豆瓣电影中抓取好评评论，可以帮助我们快速找到口碑好的电影，也可以帮助我们了解其他观众对电影的看法。

你会从这篇教程中学到什么？

如何使用 BeautifulSoup 库解析 HTML 网页
如何使用 Requests 库发送 HTTP 请求
如何存储和处理抓取到的数据
如何编写一个能够抓取豆瓣电影好评评论的 Python 脚本

你需要准备什么？

一台安装了 Python 3 的电脑
一个文本编辑器（如 Visual Studio Code 或 Sublime Text）
一个豆瓣电影账号

怎么做呢？

安装必要的 Python 库

pip install beautifulsoup4
pip install requests

编写 Python 脚本

import requests
from bs4 import BeautifulSoup

def get_douban_movie_reviews(movie_id):
  """
  抓取豆瓣电影的评论

  参数：
    movie_id: 豆瓣电影的 ID

  返回：
    评论列表
  """

  # 发送 HTTP 请求
  url = 'https://movie.douban.com/subject/{}/comments'.format(movie_id)
  response = requests.get(url)

  # 解析 HTML 网页
  soup = BeautifulSoup(response.text, 'html.parser')

  # 提取评论
  reviews = []
  for review in soup.select('div.review-item'):
    author = review.select_one('a.name').text
    content = review.select_one('div.short-content').text
    score = review.select_one('span.rating_nums').text
    reviews.append({
      'author': author,
      'content': content,
      'score': score
    })

  return reviews

# 使用爬虫抓取豆瓣电影《哪吒之魔童降世》的评论
reviews = get_douban_movie_reviews('27609175')

# 打印评论
for review in reviews:
  print('作者：', review['author'])
  print('内容：', review['content'])
  print('评分：', review['score'])
  print()