Docker + Selenium + MySQL：自动化网络抓取和数据管理

见解分享

2023-09-06 02:52:38

Docker：容器化应用程序的革命

Docker 是一种容器化平台，允许开发人员打包他们的应用程序及其所有依赖项，并将其作为轻量级、可移植的容器进行部署。这种方法提供了许多好处，包括：

隔离： 容器相互隔离，这意味着一个容器中的问题不会影响其他容器。
可移植性： 容器可在任何安装了 Docker 的计算机上运行，无论底层操作系统如何。
一致性： 容器化的应用程序在不同的环境中表现得完全一致。

Selenium：自动化 Web 测试的神器

Selenium 是一套用于自动化 Web 测试的工具。它使您可以记录与 Web 应用程序的交互，然后回放这些交互以执行自动化测试。这对于测试应用程序的功能和性能至关重要，尤其是在进行频繁更新和更改时。

MySQL：可靠且可扩展的关系数据库

MySQL 是一个开源的关系数据库管理系统 (RDBMS)，以其可靠性、可扩展性和高性能而闻名。它广泛用于各种应用程序，从小型个人网站到大型企业系统。

Docker 部署 Python + Selenium + MySQL

现在，让我们深入了解如何在 Docker 中部署 Python、Selenium 和 MySQL。我们将分成几个步骤来完成：

步骤 1：设置 Docker 引擎

首先，您需要在您的计算机上安装 Docker 引擎。请参阅 Docker 官方文档以获取特定于您操作系统的说明：https://docs.docker.com/get-docker/

步骤 2：编写 Dockerfile

Dockerfile 是一个文本文件，其中包含构建 Docker 镜像所需的所有指令。对于这个项目，我们的 Dockerfile 如下所示：

FROM python:3.8-slim

WORKDIR /usr/src/app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD ["python", "main.py"]

步骤 3：构建 Docker 镜像

使用以下命令构建 Docker 镜像：

docker build -t my-image .

步骤 4：运行 Docker 容器

使用以下命令运行 Docker 容器：

docker run -d --name my-container my-image

步骤 5：安装 Selenium 和 MySQL

容器启动后，您需要安装 Selenium 和 MySQL：

# 进入容器
docker exec -it my-container bash

# 安装 Selenium
pip install selenium

# 安装 MySQL
apt-get update
apt-get install mysql-server

步骤 6：编写脚本

现在，您可以编写一个 Python 脚本来使用 Selenium 从 Web 应用程序中抓取数据，并将数据存储在 MySQL 数据库中。以下是脚本示例：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from mysql.connector import connect

# 创建 Selenium WebDriver
driver = webdriver.Chrome()

# 导航到目标网站
driver.get("https://www.example.com")

# 查找要抓取的元素
elements = driver.find_elements_by_css_selector(".product-item")

# 遍历元素并抓取数据
for element in elements:
    name = element.find_element_by_css_selector(".product-name").text
    price = element.find_element_by_css_selector(".product-price").text

    # 连接到 MySQL 数据库
    connection = connect(
        host="localhost",
        user="root",
        password="",
        database="products"
    )

    # 创建游标
    cursor = connection.cursor()

    # 插入数据到数据库
    query = "INSERT INTO products (name, price) VALUES (%s, %s)"
    cursor.execute(query, (name, price))

    # 提交更改
    connection.commit()

    # 关闭游标和连接
    cursor.close()
    connection.close()

# 关闭 Selenium WebDriver
driver.close()