iOSFFmpeg视频编解码剖析：突破影像编码疆界

2023-11-08 14:24:37

iOS FFmpeg视频编解码剖析：突破影像编码疆界

简介

在视频内容制作和消费的时代，高效且功能强大的视频编解码工具对于开发人员而言至关重要。FFmpeg是一个开源视频和音频编解码库，因其跨平台兼容性、强大特性和灵活性而备受推崇。FFmpeg的iOS版本专门针对移动设备进行了优化，为iOS应用带来了出色的编解码功能。

视频解码：从比特流到清晰画面

视频解码是将压缩视频比特流转换为未压缩视频帧的过程。iOS FFmpeg支持广泛的视频解码器，包括H.264、H.265和MPEG-4，确保了对各种视频格式的解码能力。通过以下步骤了解视频解码的流程：

// 创建解码器
AVCodec *codec = avcodec_find_decoder(AV_CODEC_ID_H264);

// 打开解码器
avcodec_open2(codec, NULL, NULL);

// 读取视频数据
AVPacket *pkt = av_packet_alloc();

// 循环读取和解码帧
while (av_read_frame(fmt_ctx, pkt) >= 0) {
    avcodec_send_packet(codec, pkt);
    AVFrame *frame = av_frame_alloc();
    while (avcodec_receive_frame(codec, frame) >= 0) {
        // 处理解码后的帧
    }
    av_frame_free(frame);
}

// 关闭解码器
avcodec_close(codec);

视频编码：从帧到比特流

视频编码是将未压缩视频帧转换为压缩视频比特流的过程。iOS FFmpeg支持多种视频编码器，包括H.264、H.265和MPEG-4，可以满足不同编码需求。编码过程如下：

// 创建编码器
AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);

// 打开编码器
avcodec_open2(codec, NULL, NULL);

// 设置编码器参数
codec->bit_rate = 1000000; // 码率
codec->width = 640; // 宽度
codec->height = 480; // 高度
codec->time_base = (AVRational){1, 25}; // 时间基

// 创建输出文件
AVFormatContext *fmt_ctx = avformat_alloc_context();

// 配置输出格式
fmt_ctx->oformat = av_guess_format("mp4", NULL, NULL);
avio_open(&fmt_ctx->pb, "output.mp4", AVIO_FLAG_WRITE);

// 写入文件头
avformat_write_header(fmt_ctx, NULL);

// 读取视频数据
AVPacket *pkt = av_packet_alloc();

// 循环读取和编码帧
while (av_read_frame(fmt_ctx, pkt) >= 0) {
    avcodec_send_packet(codec, pkt);
    AVFrame *frame = av_frame_alloc();
    while (avcodec_receive_frame(codec, frame) >= 0) {
        // 将编码后的帧写入输出文件
        av_write_frame(fmt_ctx, frame);
    }
    av_frame_free(frame);
}

// 写入文件尾
av_write_trailer(fmt_ctx);

// 关闭编码器
avcodec_close(codec);

// 关闭输出文件
avio_close(fmt_ctx->pb);

// 释放输出文件
avformat_free_context(fmt_ctx);

视频滤镜：赋予视频无限可能

iOS FFmpeg提供了丰富的视频滤镜，用于各种视频处理操作，例如裁剪、旋转、缩放和添加水印。使用滤镜可以增强视频效果，赋予开发者更多创意自由。

// 创建视频滤镜图
AVFilterGraph *graph = avfilter_graph_alloc();

// 添加视频源滤镜
AVFilterContext *src_filter = avfilter_graph_create_filter(graph, avfilter_get_by_name("buffer"), "src", NULL, NULL, 0);

// 添加视频裁剪滤镜
AVFilterContext *crop_filter = avfilter_graph_create_filter(graph, avfilter_get_by_name("crop"), "crop", "width=320:height=240", NULL, 0);

// 链接滤镜
avfilter_link(src_filter, 0, crop_filter, 0);

// 添加视频输出滤镜
AVFilterContext *sink_filter = avfilter_graph_create_filter(graph, avfilter_get_by_name("buffersink"), "sink", NULL, NULL, 0);

// 链接滤镜
avfilter_link(crop_filter, 0, sink_filter, 0);

// 配置滤镜图
avfilter_graph_config(graph, NULL);

// 运行滤镜图
avfilter_graph_start(graph);

// 读取视频数据
AVPacket *pkt = av_packet_alloc();

// 循环读取和处理帧
while (av_read_frame(fmt_ctx, pkt) >= 0) {
    // 发送数据到源滤镜
    av_buffersrc_add_frame_flags(src_filter, pkt, 0);

    // 从输出滤镜获取处理后的帧
    AVFrame *frame = av_frame_alloc();
    while (av_buffersink_get_frame(sink_filter, frame) >= 0) {
        // 处理处理后的帧
    }
    av_frame_free(frame);
}

// 停止滤镜图
avfilter_graph_stop(graph);

// 释放滤镜图
avfilter_graph_free(graph);