FFmpeg音视频解封装与封装详解：视屏视听分离与重新合成MP4

2023-11-23 01:05:48

掌握 FFmpeg：解封装和封装音视频数据

简介

在 FFmpeg 视频编辑之旅中，我们已经深入研究了视频解码和使用 OpenGL 编辑视频。现在，是时候探索下一步：对编辑后的视频进行编码和保存。本文将深入探讨 FFmpeg 中的音视频解封装和封装过程，重点关注如何将分离的视频和音频重新封装成完整的 MP4 文件。

音视频解封装：分离视听盛宴

想象一下你收到了一个包裹，里面装着音视频数据。解封装过程就像拆开这个包裹，将音视频数据从其容器中提取出来。在 FFmpeg 中，可以使用 avformat_open_input() 函数打开媒体文件，然后使用 avformat_find_stream_info() 函数获取有关流的信息。通过这些流，我们可以访问原始的视频和音频数据。

重新封装：合成视听盛宴

现在我们已经将视频和音频数据分离，下一步就是将它们重新封装成一个新的容器。FFmpeg 提供了 avformat_alloc_output_context2() 函数来创建输出上下文，并使用 avio_open() 函数打开输出文件。接下来，我们需要为新的 MP4 文件添加流，可以使用 avformat_new_stream() 函数。

接下来，我们需要将分离的视频和音频流附加到新的输出上下文中。对于视频流，我们可以使用 avcodec_parameters_from_context() 函数从解码上下文中获取编码参数，然后使用 avformat_new_stream() 函数创建新的视频流。类似地，对于音频流，我们可以使用 avcodec_parameters_from_context() 函数获取编码参数，然后使用 avformat_new_stream() 函数创建新的音频流。

视频重新封装：视频视听分离的逆过程

视频重新封装涉及将分离的视频数据重新封装到 MP4 容器中。我们使用 av_read_frame() 函数从分离的视频流中读取帧，然后使用 av_write_frame() 函数将帧写入新的 MP4 文件中。

音频重新封装：视听合一的再现

音频重新封装类似于视频重新封装。我们使用 av_read_frame() 函数从分离的音频流中读取帧，然后使用 av_write_frame() 函数将帧写入新的 MP4 文件中。

重新封装完成：视听盛宴的重生

完成视频和音频重新封装后，我们需要使用 av_write_trailer() 函数写入文件尾部，然后使用 avio_close() 函数关闭输出文件。现在，我们已经成功地将分离的视频和音频重新封装成一个完整的 MP4 文件。

示例代码

以下是 FFmpeg 音视频解封装和封装过程的示例代码：

#include <libavformat/avformat.h>

int main() {
    // 打开输入文件
    AVFormatContext *inputContext = avformat_open_input("input.mp4", NULL, NULL);

    // 获取输入流信息
    avformat_find_stream_info(inputContext, NULL);

    // 查找视频流和音频流
    AVStream *videoStream = av_find_best_stream(inputContext, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    AVStream *audioStream = av_find_best_stream(inputContext, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);

    // 创建输出上下文
    AVFormatContext *outputContext = avformat_alloc_output_context2(NULL, NULL, "mp4", "output.mp4");

    // 添加视频流和音频流到输出上下文
    AVStream *newVideoStream = avformat_new_stream(outputContext, NULL);
    AVStream *newAudioStream = avformat_new_stream(outputContext, NULL);

    // 复制视频流和音频流的编码参数
    avcodec_parameters_from_context(newVideoStream->codecpar, videoStream->codec);
    avcodec_parameters_from_context(newAudioStream->codecpar, audioStream->codec);

    // 打开输出文件
    avio_open(&outputContext->pb, "output.mp4", AVIO_FLAG_WRITE);

    // 写入文件头
    avformat_write_header(outputContext, NULL);

    // 重新封装视频流和音频流
    AVPacket packet;
    while (av_read_frame(inputContext, &packet) >= 0) {
        if (packet.stream_index == videoStream->index) {
            packet.stream_index = newVideoStream->index;
            av_write_frame(outputContext, &packet);
        } else if (packet.stream_index == audioStream->index) {
            packet.stream_index = newAudioStream->index;
            av_write_frame(outputContext, &packet);
        }
        av_packet_unref(&packet);
    }

    // 写入文件尾部
    av_write_trailer(outputContext);

    // 关闭输出文件
    avio_close(outputContext->pb);

    // 释放资源
    avformat_close_input(&inputContext);
    avformat_free_context(outputContext);

    return 0;
}