返回

Airflow Quick Start 部署入门指南:亲自动手部署 Airflow

后端

前言

Airflow是一个由Apache社区创建的平台,以编程方式编写,调度和监控工作流。它允许您创建和管理复杂的数据管道,而无需编写复杂的代码。Airflow被广泛用于各种行业,包括金融、医疗保健、零售和制造业。

本指南将向您展示如何在本地机器上部署和配置Airflow。我们将使用Docker来简化安装过程,并且不需要任何先验的Airflow知识。

准备工作

在开始部署Airflow之前,您需要确保您的系统满足以下要求:

  • 操作系统:Ubuntu 18.04或更高版本、CentOS 7或更高版本、macOS 10.14或更高版本
  • Docker:版本19.03或更高版本
  • Docker Compose:版本1.25或更高版本
  • Python:版本3.6或更高版本

部署Airflow

  1. 安装Docker和Docker Compose

如果您还没有安装Docker和Docker Compose,请按照以下步骤进行安装:

  • Docker
curl -fsSL https://get.docker.com | sh
  • Docker Compose
pip install docker-compose
  1. 克隆Airflow源代码
git clone https://github.com/apache/airflow.git
  1. 创建Airflow环境
cd airflow
docker-compose up -d

这将创建一个新的Docker容器,并在其中运行Airflow。

  1. 访问Airflow Web UI

Airflow Web UI可在以下地址访问:

http://localhost:8080

默认情况下,用户名和密码均为"admin"。

  1. 创建数据库

Airflow需要一个数据库来存储数据。您可以使用以下命令创建数据库:

docker-compose exec airflow airflow initdb
  1. 启动Airflow服务
docker-compose restart airflow

使用Airflow

现在您已经成功部署了Airflow,您可以开始使用它来创建和管理您的工作流。有关如何使用Airflow的更多信息,请参阅Airflow文档。

结论

本指南向您展示了如何在本地机器上部署和配置Airflow。通过使用Docker,您可以轻松地安装和运行Airflow,而无需担心复杂的系统配置。现在您已经准备好开始使用Airflow来创建和管理您的工作流。