FFmpeg插入SEI实践：在视频编码中嵌入重要信息

利用 FFmpeg 插入 SEI：增强视频编码

何为 SEI？

SEI（补充增强信息）是一种特殊格式的元数据，可用于在视频编码过程中添加额外的信息，而不会影响视频本身。此信息可以包括时间戳、颜色信息、场景变化以及其他有助于视频编辑、分析和流媒体的重要细节。

为何要插入 SEI？

插入 SEI 有以下主要优点：

• 视频编辑： SEI 可简化视频编辑器的同步、效果应用和过渡处理。
• 视频分析： SEI 提供场景变化和对象识别等信息的线索，提升视频分析的效率。
• 流媒体： SEI 可优化视频传输并向观众提供有关视频的额外信息，提升流媒体体验。

在 FFmpeg 中插入 SEI

要利用 FFmpeg 在视频编码过程中插入 SEI，请按照以下步骤操作：

1. 修改 FFmpeg 源码： 编辑 libavcodec/bsf_sei.c 文件，找到 av_bsf_sei_insert() 函数。

2. 添加 SEI 数据： 通过调用 av_new_sei() 函数并设置 SEI 类型和数据，将 SEI 信息添加到该函数中。

3. 编译 FFmpeg： 按照 FFmpeg 官方指南重新编译源代码以包含您的更改。

4. 使用 FFmpeg 插入 SEI： 使用以下命令将 SEI 信息插入视频：

   ffmpeg -i input.mp4 -vf "sei=SEI_TYPE=xxxx:SEI_DATA=yyyyy" output.mp4
   

示例代码

以下示例代码演示了如何使用 FFmpeg 在每个关键帧中插入 SEI：

#include <libavcodec/avcodec.h>

int main() {
  // 创建 FFmpeg 上下文
  AVFormatContext* fmt_ctx = avformat_alloc_context();

  // 打开输入视频
  if (avformat_open_input(&fmt_ctx, "input.mp4", NULL, NULL) < 0) {
    fprintf(stderr, "无法打开输入视频\n");
    return -1;
  }

  // 查找视频流
  int video_stream_index = -1;
  for (int i = 0; i < fmt_ctx->nb_streams; i++) {
    if (fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
      video_stream_index = i;
      break;
    }
  }

  if (video_stream_index == -1) {
    fprintf(stderr, "未找到视频流\n");
    return -1;
  }

  // 创建视频编码器
  AVCodec* codec = avcodec_find_encoder(AV_CODEC_ID_H264);
  if (!codec) {
    fprintf(stderr, "未找到 H.264 编码器\n");
    return -1;
  }

  // 创建视频编码上下文
  AVCodecContext* codec_ctx = avcodec_alloc_context3(codec);
  if (!codec_ctx) {
    fprintf(stderr, "无法分配视频编码上下文\n");
    return -1;
  }

  // 设置视频编码参数
  codec_ctx->width = fmt_ctx->streams[video_stream_index]->codecpar->width;
  codec_ctx->height = fmt_ctx->streams[video_stream_index]->codecpar->height;
  codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;
  codec_ctx->gop_size = 10;
  codec_ctx->bitrate = 2000000;

  // 创建 FFmpeg 输出上下文
  AVFormatContext* output_fmt_ctx = avformat_alloc_context();

  // 设置输出文件格式
  output_fmt_ctx->oformat = av_guess_format("mp4", NULL, NULL);

  // 打开输出文件
  if (avio_open(&output_fmt_ctx->pb, "output.mp4", AVIO_FLAG_WRITE) < 0) {
    fprintf(stderr, "无法打开输出文件\n");
    return -1;
  }

  // 添加视频流到输出文件
  AVStream* output_video_stream = avformat_new_stream(output_fmt_ctx, NULL);
  if (!output_video_stream) {
    fprintf(stderr, "无法创建输出视频流\n");
    return -1;
  }

  // 复制视频流参数
  avcodec_parameters_copy(output_video_stream->codecpar, codec_ctx->par_in);

  // 打开视频编码器
  if (avcodec_open2(codec_ctx, codec, NULL) < 0) {
    fprintf(stderr, "无法打开视频编码器\n");
    return -1;
  }

  // 逐帧读取输入视频
  AVPacket packet;
  while (av_read_frame(fmt_ctx, &packet) >= 0) {
    // 如果是关键帧，则插入 SEI
    if (packet.flags & AV_PKT_FLAG_KEY) {
      // 创建 SEI 数据
      AVSei sei = {0};
      sei.type = AV_SEI_USER_DATA;
      sei.payload = av_malloc(16);
      memcpy(sei.payload, "Your SEI data", 16);
      sei.size = 16;

      // 插入 SEI
      av_packet_add_side_data(&packet, AV_PKT_DATA_SEI, &sei, sizeof(sei));
    }

    // 将视频帧编码成 H.264
    avcodec_send_packet(codec_ctx, &packet);
    while (avcodec_receive_packet(codec_ctx, &packet) >= 0) {
      // 将编码后的帧写入输出文件
      av_interleaved_write_frame(output_fmt_ctx, &packet);
    }

    // 释放数据包
    av_packet_unref(&packet);
  }

  // 关闭视频编码器
  avcodec_close(codec_ctx);

  // 关闭输入视频
  avformat_close_input(&fmt_ctx);

  // 关闭输出文件
  avio_close(output_fmt_ctx->pb);

  // 释放 FFmpeg 上下文
  avformat_free_context(fmt_ctx);
  avformat_free_context(output_fmt_ctx);

  return 0;
}

常见问题解答

1. 我可以使用 FFmpeg 插入哪些类型的 SEI？
   您可以在视频中插入任何类型的 SEI，只要您知道 SEI 类型和数据。

2. 插入 SEI 会影响视频质量吗？
   插入 SEI 通常不会影响视频质量，因为它仅添加额外的元数据而不改变视频本身。

3. 在什么情况下应使用 SEI？
   SEI 对于需要在不修改视频本身的情况下添加额外信息的所有应用程序都非常有用，例如视频编辑、分析和流媒体。

4. 如何检查视频中是否包含 SEI？
   可以使用 FFmpeg 的 ffprobe 工具查看视频的 SEI 信息：ffprobe -v error -select_streams v -show_entries stream=sei input.mp4

5. SEI 中可以包含哪些类型的数据？
   SEI 可以包含各种数据，包括时间戳、颜色信息、场景变化、对象信息和任意用户数据。