FFmpeg软硬解的细节以及实战运用

IOS

2023-10-29 16:29:22

前言

FFmpeg是一款功能强大的多媒体处理工具，支持多种视频和音频格式的编码、解码和转码。它可以用于各种视频处理场景，例如视频剪辑、视频合并、视频压缩、视频转码等。

FFmpeg提供了两种解码方式：软解和硬解。软解是指使用CPU来解码视频，而硬解是指使用GPU来解码视频。硬解相对于软解具有速度更快、功耗更低等优点，因此在实际应用中更受欢迎。

软解流程

FFmpeg的软解流程如下：

注册所有支持的解码器。
打开输入文件。
查找并打开相应的解码器。
初始化解码器。
将输入数据送入解码器。
从解码器获取解码后的数据。
将解码后的数据输出到输出文件。

硬解流程

FFmpeg的硬解流程如下：

注册所有支持的硬件解码器。
打开输入文件。
查找并打开相应的硬件解码器。
初始化硬件解码器。
将输入数据送入硬件解码器。
从硬件解码器获取解码后的数据。
将解码后的数据输出到输出文件。

实战步骤

下面以iOS为例，介绍如何使用FFmpeg实现视频的软解和硬解。

软解

首先，需要安装FFmpeg。可以使用Homebrew或手动编译的方式来安装FFmpeg。
然后，需要创建一个新的工程。
将FFmpeg的头文件和库文件添加到工程中。
在工程中添加如下代码：

#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>

int main() {
  // 注册所有支持的解码器。
  avcodec_register_all();

  // 打开输入文件。
  AVFormatContext *fmt_ctx = NULL;
  if (avformat_open_input(&fmt_ctx, "input.mp4", NULL, NULL) != 0) {
    fprintf(stderr, "Could not open input file.\n");
    return -1;
  }

  // 查找并打开相应的解码器。
  AVCodec *codec = avcodec_find_decoder(fmt_ctx->streams[0]->codecpar->codec_id);
  if (codec == NULL) {
    fprintf(stderr, "Could not find decoder.\n");
    return -1;
  }

  // 初始化解码器。
  AVCodecContext *codec_ctx = avcodec_alloc_context3(codec);
  if (codec_ctx == NULL) {
    fprintf(stderr, "Could not allocate codec context.\n");
    return -1;
  }
  if (avcodec_open2(codec_ctx, codec, NULL) != 0) {
    fprintf(stderr, "Could not open codec.\n");
    return -1;
  }

  // 将输入数据送入解码器。
  AVPacket *packet = av_packet_alloc();
  while (av_read_frame(fmt_ctx, packet) >= 0) {
    avcodec_send_packet(codec_ctx, packet);

    // 从解码器获取解码后的数据。
    AVFrame *frame = av_frame_alloc();
    while (avcodec_receive_frame(codec_ctx, frame) >= 0) {
      // 将解码后的数据输出到输出文件。
      av_frame_free(&frame);
    }

    av_packet_free(&packet);
  }

  // 关闭解码器。
  avcodec_close(codec_ctx);

  // 关闭输入文件。
  avformat_close_input(&fmt_ctx);

  return 0;
}

硬解

首先，需要确保iOS设备支持硬件解码。
然后，需要在工程中添加如下代码：

#include <VideoToolbox/VideoToolbox.h>

VTDecompressionSessionRef session = NULL;

// 创建硬件解码器。
VTDecompressionSessionCreate(kCFAllocatorDefault, /* pixel format */ kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange, NULL, NULL, &session);

// 初始化硬件解码器。
VTDecompressionSessionInitialize(session, NULL);

// 将输入数据送入硬件解码器。
VTDecodeFrameFlags flags = 0;
VTDecompressionSessionDecodeFrame(session, packet, flags, &frame, &info);

// 从硬件解码器获取解码后的数据。
CVImageBufferRef imageBuffer = frame->imageBuffer;

// 将解码后的数据输出到输出文件。

// 关闭硬件解码器。
VTDecompressionSessionFinish(session);
VTDecompressionSessionRelease(session);