Selenium 绕过 Cloudflare 保护的全面攻略：突破限制，自动化测试

2024-03-26 19:48:50

Selenium 绕过 Cloudflare 保护的全面指南

简介

在使用 Selenium 测试自动化工具时，绕过 Cloudflare 等网站保护措施可能是令人头疼的问题。然而，掌握正确的技巧和策略，你可以成功克服这些障碍。本文将深入探讨在 Python Seleniumbase 中绕过 Cloudflare 保护的解决方案，提供分步指南和专家建议，帮助你解决这一挑战。

问题陈述

当使用 Selenium 访问受 Cloudflare 保护的网站时，你可能会遇到限制，阻止你自动执行任务。这些限制可能是由于代理检测或其他反欺诈措施造成的。

解决方案

修改 Seleniumbase 代码

要绕过 Cloudflare 保护，你需要修改 Seleniumbase 代码中负责处理代理的部分。以下是详细步骤：

添加 User-Agent：
- 在创建 Chrome 驱动程序时，添加 user-agent 参数，伪装你的浏览器。
使用 ChromeOptions()：
- 使用 webdriver.ChromeOptions() 添加 user-agent，而不是 chrome_options。
添加代理服务器：
- 添加 --proxy-server 参数，指定要使用的代理服务器。

其他建议

除了修改代码外，还可以采取以下措施来提高绕过 Cloudflare 保护的成功率：

使用优质代理： 免费代理不可靠且易被检测到，使用高质量的代理服务器。
住宅代理： 使用来自真实用户设备的住宅代理服务器，这些代理不易被检测到。
Selenium 的 undetected_chromedriver： 使用 Selenium 的 undetected_chromedriver 模式来隐藏你的浏览器指纹。
Tor： 使用 Tor 匿名网络来隐藏你的 IP 地址和位置。

详细指南

while True:
    # renew_tor_ip()
    # for x in goodProxy:
    if driversN < driverLimit:
        driversN += 1
        randomList = proxyList[randint(0, len(proxyList)-1)]
        print(randomList)
        if opt == 'y':
            user_agent = ''
            options = webdriver.ChromeOptions()
            options.add_argument('--user-agent='+user_agent)
            options.add_argument('--proxy-server='+randomList)
            driver = webdriver.Chrome(options=options)
        elif opt == 'n':
            cmd = f'pytest w.py --gui --uc --no-summary -q --disable-ws'
        Thread(target=access_site, args=(cmd, )).start()
    if driversN >= driverLimit:
        print(f'sleeping', end='\r')
        time.sleep(0.5)