应用Performance获取日志，透视网页加载数据秘密

前端

2023-09-17 05:57:23

轻松应对网页混淆：利用 Performance API 获取隐藏数据

在网络爬虫领域，混淆处理是一个棘手的难题，它使得数据提取变得困难重重。当面对这些挑战时，与其苦苦与混淆代码较量，不如另辟蹊径，从网页加载数据入手。

利用 Performance API 跟踪请求

Performance API 是一项强大的工具，它可以帮助我们跟踪页面加载过程中发送的所有请求。通过分析这些请求，我们可以定位到页面获取数据的具体位置，从而绕过混淆代码的阻碍。

Selenium 网络爬虫：抓取目标网页

第一步，我们需要使用 Selenium 网络爬虫打开目标网页。Selenium 是一个功能强大的自动化测试框架，它可以模拟浏览器的行为，帮助我们与网页进行交互。

启用 Performance 日志记录

接下来，我们需要在控制台中启用 Performance 日志记录。这样，浏览器就会记录下页面加载过程中发生的所有事件，包括发送的所有请求。

定位页面数据来源

网页加载完成后，我们可以使用 WebDriver.find_elements() 方法找到页面上的所有元素。然后，使用 WebDriver.execute_script() 方法执行 performance.getEntries() 函数，获取页面加载过程中发送的所有请求。

通过分析这些请求的 URL，我们可以定位到页面加载的数据来源。这些请求通常是 xhr 或 ajax 请求，它们用于异步加载数据。

使用 requests 库获取数据

最后，我们可以使用 requests 库发送请求，获取这些数据源中的机票数据。requests 是一个流行的 Python 库，它可以轻松地发送 HTTP 请求和处理响应。

示例代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import requests

# 打开目标网页
options = Options()
options.add_argument("--headless")
driver = webdriver.Chrome(options=options)
driver.get("https://www.qunar.com/flight/")

# 启用performance日志记录
driver.execute_script("window.performance.mark('start')")

# 找到页面上的所有元素
elements = driver.find_elements(By.XPATH, "//*")

# 获取页面加载过程中发送的所有请求
entries = driver.execute_script("return performance.getEntries()")

# 分析日志记录，定位到页面加载的数据来源
for entry in entries:
    if entry["name"].startswith("https://www.qunar.com/api"):
        print(entry["name"])

# 使用requests库发送请求，获取机票数据
response = requests.get(entry["name"])
data = response.json()

# 打印机票数据
print(data)