CSS 偏置混淆的抓取内容样式复原

前端

2023-09-26 06:59:14

破解 CSS 偏移反爬虫：还原真实页面内容

简介

反爬虫技术层出不穷，CSS 偏移便是其中一种。它通过打乱文本顺序，让爬虫难以获取有效内容。不过，通过逆向实施 CSS 偏移原理，我们可以轻松破解这一反爬手段。

逆向 CSS 偏移的原理

CSS 偏移的本质是通过 CSS 样式调整文本顺序。我们的爬虫可以逆向这一过程，通过选择和解析 CSS 偏移元素，获取原始文本顺序，从而还原真实内容。

使用工具

有多种工具可用于逆向 CSS 偏移，包括：

Selenium： 浏览器自动化工具，可模拟用户操作，解析页面元素。
lxml： 强大的 XML 和 HTML 解析库，支持 xpath 和 CSS 选择器。
BeautifulSoup： 流行的 HTML 解析库，使用起来非常简单。

使用 Selenium 逆向还原 CSS 偏移内容

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from lxml import etree

url = 'https://www.example.com/'

# 启动 Selenium 浏览器驱动
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)

# 访问待爬取页面
driver.get(url)

# 选择需要恢复文本顺序的元素
element = driver.find_element_by_css_selector('.text-offset')

# 将选中元素的 outerHTML 解析为 lxml etree 对象
html = etree.HTML(element.get_attribute('outerHTML'))

# 使用 lxml 解析器获取元素中的文本内容
text = html.xpath('//text()')[0]

# 打印复原后的文本内容
print(text)

# 关闭 Selenium 浏览器驱动
driver.quit()

使用 lxml 逆向还原 CSS 偏移内容

import requests
from lxml import etree

url = 'https://www.example.com/'

# 使用 requests 库获取网页 HTML 代码
response = requests.get(url)
html = response.text

# 将 HTML 代码解析为 lxml etree 对象
root = etree.HTML(html)

# 选择需要恢复文本顺序的元素
element = root.xpath('//div[@class="text-offset"]')[0]

# 使用 xpath 解析器获取元素中的文本内容
text = ''.join(element.xpath('.//text()'))

# 打印复原后的文本内容
print(text)

使用 BeautifulSoup 逆向还原 CSS 偏移内容

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/'

# 使用 requests 库获取网页 HTML 代码
response = requests.get(url)
html = response.text

# 将 HTML 代码解析为 BeautifulSoup 对象
soup = BeautifulSoup(html, 'html.parser')

# 选择需要恢复文本顺序的元素
element = soup.find('div', class_='text-offset')

# 使用 BeautifulSoup 解析器获取元素中的文本内容
text = ''.join(element.find_all(text=True))

# 打印复原后的文本内容
print(text)