如何使用 Selenium 和 Python 加载无限滚动的列表？

python

2024-03-06 19:21:30

无限制滚动：使用 Selenium 和 Python 加载无限列表

在网络抓取任务中，经常会遇到需要从无限滚动的列表中提取数据的场景。使用 Selenium + Python 实现无限制滚动可以帮助我们从这种类型的页面中有效地收集数据。

问题概述

目标是使用 Selenium 和 Python 从以下网页 https://partechpartners.com/companies 加载整个列表。该页面采用 JS 生成，底部有一个 "加载更多" 按钮。

最初的 Python 脚本仅点击 "加载更多" 按钮一次，但只能加载有限数量的元素。添加显式等待和滚动动作后，脚本仍然无法加载页面中的所有元素。

解决方案

为了确保 WebDriver 浏览器加载了页面中的所有元素，需要采取以下步骤：

使用显式等待： 显式等待可以确保在执行任何操作之前元素已加载。
使用滚动动作： 在点击 "加载更多" 按钮后，使用滚动动作可以迫使页面加载新元素。
处理异常： 使用 try 和 except 块可以处理元素不可见或不可点击的情况。
检查页面源代码： 检查页面源代码可以验证元素是否已加载。

具体实现

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from time import sleep

# 设置无头模式
chrome_options = Options()
chrome_options.add_argument("--headless")

# 创建 WebDriver 实例
driver = webdriver.Chrome(options=chrome_options)

# 访问目标页面
url = 'https://partechpartners.com/companies'
driver.get(url)

# 等待 "加载更多" 按钮加载
WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//*[text() = "加载更多"]'))
)

# 定位 "加载更多" 按钮
load_more = driver.find_element(By.XPATH, '//*[text() = "加载更多"]')

# 点击 "加载更多" 按钮
try:
    ActionChains(driver).move_to_element(load_more).click(load_more).perform()
except:
    print("Error while clicking element")

# 执行滚动动作
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# 再次检查页面源代码以验证是否已加载所有元素
page_source = driver.page_source
if 'No more companies to display.' in page_source:
    print("All elements loaded")

# 获取所有元素
elements = driver.find_elements(By.XPATH, '//h2')
for element in elements:
    print(element.text)

# 关闭 WebDriver 实例
driver.quit()