Python 轻松采集商家商品信息，外卖点单再也不迷路
2023-12-30 16:04:08
使用 Python 探索美食外卖世界的奥秘
导言
外卖正迅速成为美食爱好者的救星，它节省了时间和精力，让我们足不出户就能享受美味佳肴。然而，面对琳琅满目的外卖平台和商家，如何快速找到心仪的美食呢？今天，我们将踏上一次 Python 驱动的美食探险之旅，学习一种实用方法来采集商家商品信息，让你在点外卖时游刃有余！
步骤 1：准备你的 Python 工具包
我们的 Python 探索之旅需要以下库：
- requests： 发送 HTTP 请求的利器。
- BeautifulSoup： 解析 HTML 网页的得力助手。
- pandas： 处理和分析数据的强大工具。
只需在终端输入以下命令即可轻松安装这些库：
pip install requests BeautifulSoup4 pandas
步骤 2：获取外卖平台数据
让我们以某知名外卖平台为例，其商家列表页面 URL 为 https://www.ele.me/shop/。使用 requests 库发送 GET 请求获取该网页的 HTML 内容：
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://www.ele.me/shop/'
headers = {'User-Agent': 'Mozilla/5.0 ...'}
response = requests.get(url, headers=headers)
步骤 3：解析商家信息
通过 BeautifulSoup 解析 HTML 网页，找到包含商家信息的 HTML 元素：
soup = BeautifulSoup(response.text, 'html.parser')
shops = soup.find_all('div', class_='shop-list-item')
步骤 4：提取商家详情
遍历每个商家元素，提取名称、地址、联系电话、营业时间等信息：
shop_infos = []
for shop in shops:
shop_info = {}
shop_info['name'] = shop.find('h3', class_='shop-name').text.strip()
shop_info['address'] = shop.find('div', class_='shop-address').text.strip()
shop_info['phone'] = shop.find('a', class_='phone-link').text.strip()
shop_info['business_hours'] = shop.find('div', class_='shop-hours').text.strip()
shop_infos.append(shop_info)
步骤 5：保存到 CSV 文件
将提取到的商家信息保存到 CSV 文件中，以便日后使用：
df = pd.DataFrame(shop_infos)
df.to_csv('shop_infos.csv', index=False)
恭喜！ 我们已经成功采集了商家商品信息。通过执行这段 Python 代码，你可以轻松获取外卖平台上的商家信息，包括名称、地址、联系电话、营业时间等。这些信息将成为你点外卖的得力助手，让你不再迷茫！
拓展应用
根据需要，你可以进一步修改代码，采集更多信息，例如商品信息、评价信息等。
常见问题解答
-
为什么需要伪装成浏览器发送请求？
为了避免被平台识别为爬虫而封禁，我们通过设置请求头 User-Agent 来伪装成浏览器发送请求。
-
如何获取其他外卖平台的数据？
修改代码中的 URL，即可获取其他外卖平台的数据。
-
如何提取商品信息？
商品信息通常包含在 class 为 "product-list-item" 的 div 元素中，你可以使用类似于提取商家信息的方法来提取商品信息。
-
如何提取评价信息？
评价信息通常包含在 class 为 "review-list-item" 的 div 元素中，你可以使用类似于提取商家信息的方法来提取评价信息。
-
如何使用这些信息来点外卖？
你可以将这些信息保存在电子表格或数据库中，然后使用 Python 脚本或第三方库（如 Yelp Fusion API）来访问和筛选信息，以找到满足你需求的商家。
结语
通过使用 Python 采集商家商品信息，我们为美食外卖世界打开了一扇大门。无论是探索新口味还是寻找心仪的商家，Python 都将成为你不可或缺的利器。掌握这些技巧，让你的外卖之旅更加轻松愉悦！
