返回

手把手教你用Python爬取京东商品数据

后端

利用 Python 从京东抓取商品数据的全攻略

引言

京东作为中国电商巨头，拥有庞大的商品数据库。为了获取这些数据，爬虫工具应运而生。本文将详细阐述如何使用 Python 开发一个京东商品数据爬虫，涵盖从设置到数据处理的全流程。

先决条件

  • Python 3
  • BeautifulSoup
  • requests

安装方法：

pip install beautifulsoup4
pip install requests

设置爬虫程序

  1. 创建一个 Python 脚本文件（如 jd_crawler.py）。
  2. 复制以下代码并粘贴到文件中：
import requests
from bs4 import BeautifulSoup

# 设置京东商品链接
url = 'https://www.jd.com/100017301303.html'

# 发送 HTTP 请求并获取响应
response = requests.get(url)

# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')

# 提取商品信息
product_name = soup.find('h1', class_='product-intro-name').text.strip()
product_price = soup.find('span', class_='p-price').text.strip()
product_image = soup.find('img', class_='product-img')['src']

# 打印抓取到的数据
print(product_name)
print(product_price)
print(product_image)

运行爬虫程序

python jd_crawler.py

存储和处理数据

数据库存储

import pymysql

# 连接数据库
connection = pymysql.connect(host='localhost', user='root', password='password', database='test')

# 创建游标
cursor = connection.cursor()

# 插入数据
cursor.execute("INSERT INTO products (name, price, image) VALUES (%s, %s, %s)", (product_name, product_price, product_image))

# 提交更改
connection.commit()

# 关闭游标和连接
cursor.close()
connection.close()

本地文件存储

with open('products.csv', 'w') as f:
    f.write(f"{product_name},{product_price},{product_image}\n")

常见问题解答

  1. 为什么使用 Python 进行爬虫？

    • Python 易于学习、使用，并拥有丰富的库支持，如 BeautifulSoup 和 requests，便于数据解析和提取。

  2. BeautifulSoup 有什么作用？

    • BeautifulSoup 是一种库，用于解析 HTML 和 XML 文档，使我们可以轻松提取和处理京东商品页面上的数据。

  3. requests 库的用途是什么？

    • requests 库可以发送 HTTP 请求并获取服务器响应，是京东商品数据爬取的关键。

  4. 如何处理京东的反爬虫措施？

    • 使用代理服务器、更改 user-agent 标头和设置延迟时间等措施可以避免触发京东的反爬虫机制。

  5. 爬取商品数据后如何使用？

    • 抓取到的数据可以用于价格对比、市场研究、数据分析和机器学习等应用。