小红书评论抓取器：一键抓取小红书笔记下多级评论##

2023-08-21 17:33:34

利用 Python 爬虫技术一键获取小红书评论：数据挖掘的利器

解锁社交媒体宝库

小红书作为社交媒体巨头，汇集了大量活跃用户，分享着有关美妆、时尚、美食等话题的丰富内容。这些用户在互动过程中留下的评论更是蕴藏着宝贵的 insights，对于企业和个人来说都是不可多得的资源。了解用户喜好、产品口碑、市场趋势，都离不开对小红书评论数据的深入分析。

挑战与突破

然而，直接获取小红书评论并非易事。小红书采用了复杂的加密算法，使得普通用户难以直接爬取。但不要气馁！本文将介绍一种使用 Python 爬虫技术，轻轻松松获取小红书评论数据的简单方法。

Python 爬虫技术：自动化取数神器

Python 爬虫技术是一种利用 Python 语言编写的自动化脚本，能够模拟人类行为，自动访问网站并抓取数据。对于小红书评论的获取，我们同样可以使用 Python 爬虫技术来实现。

分步指南：一键抓取小红书评论

1. 安装必要库

pip install requests
pip install bs4

2. 获取小红书笔记 ID

通过浏览器打开小红书笔记，在地址栏中找到笔记的 ID，例如：

https://www.xiaohongshu.com/discovery/item/63e1e1c0000000002103196b

其中的 63e1e1c0000000002103196b 就是小红书笔记的 ID。

3. 发送请求并获取评论数据

import requests

url = 'https://www.xiaohongshu.com/api/discovery/item/notes/{}/comments?page_size=10'.format(小红书笔记 ID)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    data = response.json()
    comments = data['data']['notes']
else:
    print('请求失败')

4. 解析评论数据

from bs4 import BeautifulSoup

soup = BeautifulSoup(data, 'html.parser')

comments = soup.find_all('div', class_='Comment_item_2nClZ')

for comment in comments:
    comment_content = comment.find('div', class_='Comment_content_3_FD3').text
    commenter_name = comment.find('a', class_='UserLink_userLink_1H52N').text

    print(f'评论内容：{comment_content}')
    print(f'评论者：{commenter_name}')

5. 存储评论数据

import csv

with open('小红书评论.csv', 'w', newline='') as f:
    writer = csv.writer(f)

    writer.writerow(['评论内容', '评论者'])

    for comment in comments:
        comment_content = comment.find('div', class_='Comment_content_3_FD3').text
        commenter_name = comment.find('a', class_='UserLink_userLink_1H52N').text

        writer.writerow([comment_content, commenter_name])