返回

用 Docker 轻松建立 Flink 开发环境

后端

在 Docker 中构建 Flink 开发环境

Flink 是一个强大的数据处理引擎，用于在无边界和有边界数据流上进行有状态计算。借助 Docker，您可以在隔离且可重复的环境中轻松设置 Flink 开发环境。本指南将引导您完成必要步骤，使您能够迅速有效地开始使用 Flink 的强大功能。

先决条件

在继续之前，请确保您满足以下先决条件：

  • Docker 已安装并运行在您的系统上
  • Docker Compose 已安装

步骤 1：获取 Flink 映像

从 Docker Hub 下载 Flink 映像：

docker pull flink:1.15.2

步骤 2：创建 Docker Compose 文件

创建一个名为 docker-compose.yml 的 Docker Compose 文件，其中包含以下内容：

version: "3.7"

services:
  jobmanager:
    image: flink:1.15.2
    ports:
      - "8081:8081"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: flink:1.15.2
    depends_on:
      - jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=1

此文件定义了两个容器：一个用于 JobManager，一个用于 TaskManager。JobManager 负责协调作业执行，而 TaskManager 执行实际的计算。

步骤 3：启动 Flink 环境

使用以下命令启动 Flink 环境：

docker-compose up -d

此命令将启动 JobManager 和 TaskManager 容器，并使 Flink 环境在后台运行。

步骤 4：验证安装

通过访问以下 URL 验证 Flink 是否已成功启动：

http://localhost:8081

您应该会看到 Flink Web 界面，其中显示了 JobManager 和 TaskManager 的状态。

恭喜！

您现在已在 Docker 中成功建立了 Flink 开发环境。您可以开始使用 Flink 的强大功能来处理数据流并构建复杂的数据处理应用程序。

提示

  • 要停止 Flink 环境，请运行 docker-compose down 命令。
  • 要查看容器日志，请运行 docker-compose logs 命令。
  • 要调整 TaskManager 的槽位数，请在 docker-compose.yml 文件中更改 TASK_MANAGER_NUMBER_OF_TASK_SLOTS 环境变量。