从难以捉摸的 API 中获取准确数据：一个巧妙的解决方案

2024-03-06 21:36:13

## 网络爬虫获取难以捉摸的 API 信息：一个创意解决方案

作为一名经验丰富的程序员和技术作家，我常常遇到看似难以解决的难题。其中一个常见的问题是如何从 API 中提取准确的信息，尤其是在 API 返回的数据与页面上显示的不一致的情况下。今天，我们将探索一个解决此类问题的创造性解决方案。

### 问题陈述

我们最近遇到一个问题，需要从一个 API 中获取产品价格信息。不幸的是，API 提供的 variants 键中包含页面上不存在的价格，导致我们的代码出错。我们的目标是找到一种方法来获取页面上显示的每种颜色的价格，以及其他卖家部分的价格。

### 解决方法

为了解决这个问题，我们采用了一个四步骤的方法：

1. 获取页面源代码： 使用 BeautifulSoup 等网络爬虫工具获取产品页面的 HTML 源代码。

2. 解析 HTML： 使用 BeautifulSoup 解析源代码，提取价格信息。

3. 匹配 API 响应： 将从页面提取的价格与 API 响应中的价格进行匹配。

4. 过滤出不需要的价格： 从 API 响应中过滤掉页面上不存在的价格。

### 代码示例

以下 Python 代码演示了如何实现此解决方案：

import requests
from bs4 import BeautifulSoup

# 1. 获取页面源代码
url = 'https://www.digikala.com/product/dkp-11428901/'
response = requests.get(url)
html = response.content

# 2. 解析 HTML
soup = BeautifulSoup(html, 'html.parser')

# 3. 提取价格信息
page_prices = []
colors = []
for div in soup.find_all('div', class_='c-product__color'):
    color = div.find('span', class_='c-product__color-title').text
    colors.append(color)

    price = div.find('span', class_='c-product__price-value').text
    price = int(price.replace(',', ''))  # 移除逗号
    page_prices.append(price)

# 4. 获取 API 响应
api_response = requests.get('https://api.digikala.com/v2/product/11428901/').json()

# 5. 匹配 API 响应
matched_prices = []
for variant in api_response['product']['variants']:
    if variant['title'] in colors:
        matched_prices.append(variant['sale_price'])

# 6. 过滤出不需要的价格
filtered_prices = []
for price in matched_prices:
    if price not in page_prices:
        filtered_prices.append(price)

# 输出结果
print("颜色：", colors)
print("页面价格：", page_prices)
print("过滤后的 API 价格：", filtered_prices)