Selenium Chrome无界模式代理IP配置

在Linux中使用Selenium和Chrome浏览器进行网络爬取时，配置无界模式的代理IP可以实现动态代理IP切换，提高网络爬取的成功率和效率。下面详细介绍如何进行配置：

1. 安装软件包

sudo apt-get update
sudo apt-get install chromium-chromedriver
sudo apt-get install selenium

2. 导入必要的库

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

3. 设置代理IP

options = Options()
options.add_argument('--proxy-server=socks5://127.0.0.1:1080')

4. 启动无界模式浏览器

driver = webdriver.Chrome(chrome_options=options)

5. 访问目标网站

driver.get("https://www.example.com")

6. 动态切换代理IP

driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

7. 获取网页内容

html = driver.page_source

8. 关闭浏览器

driver.quit()

示例

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--proxy-server=socks5://127.0.0.1:1080')
driver = webdriver.Chrome(chrome_options=options)

driver.get("https://www.example.com")
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

html = driver.page_source
driver.quit()

print(html)