Flink日志对比解读：为什么Yarn和Kubernetes存在差异？

后端

2023-11-28 12:24:52

Flink日志生成模式：Kubernetes vs. Yarn

差异探析

Flink是一个强大的大数据处理框架，可以在不同的分布式资源管理系统上运行，如Kubernetes（k8s）和Yarn。当Flink在不同的平台上部署时，其日志生成模式也会有所差异。

在Yarn上部署Flink时，通常会生成三个日志文件：.out、.err和.log。其中：

.out：标准输出信息，包括任务进度、作业状态等。
.err：标准错误信息，包括作业失败、错误消息等。
.log：详细日志信息，包括作业配置、任务执行情况、资源使用情况等。

而在Kubernetes上部署Flink时，通常只生成一个日志文件：.log，它包含所有日志信息，包括标准输出、标准错误和详细日志。

差异原因

造成这种差异的主要原因在于Yarn和Kubernetes这两个资源管理系统的不同。

Yarn是一个资源管理器，负责管理计算资源和应用程序调度。当Flink作业在Yarn上运行时，Yarn会为其分配资源并启动任务管理器。任务管理器执行Flink任务，并将日志信息输出到本地文件系统。

Kubernetes是一个容器编排系统，负责管理容器化的应用程序。当Flink作业在Kubernetes上运行时，Kubernetes会为其创建Pod，并把Flink作业容器部署到Pod中。容器执行Flink任务，并将日志信息输出到自己的日志文件中。

Kubernetes的日志收集机制与Yarn不同。在Kubernetes中，每个容器都有一个自己的日志文件，因此Flink作业的日志信息会被输出到容器的日志文件中。

代码示例

# 在Kubernetes上部署Flink作业的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: flink
  template:
    metadata:
      labels:
        app: flink
    spec:
      containers:
      - name: flink
        image: flink:1.15.0
        command: ["flink", "run", "-d", "local", "-c", "org.apache.flink.examples.WordCount", "/opt/flink/examples/batch/WordCount.jar"]
        env:
        - name: FLINK_LOG_LEVEL
          value: "INFO"
        volumeMounts:
        - mountPath: /opt/flink/logs
          name: flink-logs
      volumes:
      - name: flink-logs
        emptyDir: {}