用 Android AVDemo（10）从 MP4 解出 H.264/H.265：深入了解视频解封装

2023-12-06 06:18:29

引言

在音视频开发领域，视频解封装是一个至关重要的过程，它可以将封装格式（如 MP4）中的视频和音频数据提取出来，以便进一步进行解码和处理。在 Android 平台上，Android AVDemo（10）提供了出色的视频解封装功能，使开发者能够轻松高效地从 MP4 文件中提取出 H.264/H.265 视频和音频流。

理解视频解封装

视频解封装是一种将封装格式中的视频和音频数据提取出来的过程。封装格式是一种容器格式，用于存储编码后的视频和音频数据，它包含了媒体数据的组织和同步信息。MP4（MPEG-4 Part 14）是一种流行的封装格式，它广泛用于存储 H.264/H.265 视频和 AAC 音频数据。

使用 Android AVDemo（10）进行视频解封装

Android AVDemo（10）是一个功能强大的音视频开发示例，它包含了视频解封装的演示代码。该示例使用 MediaExtractor 和 MediaCodec API 来提取 MP4 文件中的视频和音频流。

步骤 1：创建 MediaExtractor

MediaExtractor 是一个用于提取封装格式中媒体数据的类。要创建 MediaExtractor，可以按照以下步骤操作：

MediaExtractor extractor = new MediaExtractor();
extractor.setDataSource(filePath);

步骤 2：获取轨道索引

在 MediaExtractor 中，视频和音频数据存储在不同的轨道中。要获取视频和音频轨道的索引，可以按照以下步骤操作：

int videoTrackIndex = -1;
int audioTrackIndex = -1;
for (int i = 0; i < extractor.getTrackCount(); i++) {
    MediaFormat format = extractor.getTrackFormat(i);
    String mimeType = format.getString(MediaFormat.KEY_MIME);
    if (mimeType.startsWith("video/")) {
        videoTrackIndex = i;
    } else if (mimeType.startsWith("audio/")) {
        audioTrackIndex = i;
    }
}

步骤 3：选择轨道

选择要解封装的轨道，可以按照以下步骤操作：

extractor.selectTrack(videoTrackIndex);
extractor.selectTrack(audioTrackIndex);

步骤 4：创建 MediaCodec

MediaCodec 是一个用于解码媒体数据的类。要创建 MediaCodec，可以按照以下步骤操作：

MediaCodec videoDecoder = MediaCodec.createDecoderByType(videoMimeType);
MediaCodec audioDecoder = MediaCodec.createDecoderByType(audioMimeType);

步骤 5：配置 MediaCodec

配置 MediaCodec 以解码视频和音频数据，可以按照以下步骤操作：

MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();
videoDecoder.configure(videoFormat, null, null, 0);
audioDecoder.configure(audioFormat, null, null, 0);

步骤 6：启动 MediaCodec

启动 MediaCodec 以开始解码视频和音频数据，可以按照以下步骤操作：

videoDecoder.start();
audioDecoder.start();

步骤 7：提取媒体数据

从 MediaExtractor 中提取媒体数据，可以按照以下步骤操作：

while (true) {
    int sampleSize = extractor.readSampleData(videoBuffer, 0);
    if (sampleSize < 0) {
        break;
    }
    extractor.advance();
}

步骤 8：解码媒体数据

将提取的媒体数据送入 MediaCodec 进行解码，可以按照以下步骤操作：

videoDecoder.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);
audioDecoder.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);

步骤 9：获取解码后的数据

获取 MediaCodec 解码后的数据，可以按照以下步骤操作：

int outputBufferIndex = videoDecoder.dequeueOutputBuffer(videoBufferInfo, timeoutUs);
int outputBufferIndex = audioDecoder.dequeueOutputBuffer(audioBufferInfo, timeoutUs);

步骤 10：释放资源

解码完成后，释放所有资源，可以按照以下步骤操作：

extractor.release();
videoDecoder.release();
audioDecoder.release();

示例代码

Android AVDemo（10）中视频解封装的示例代码如下：

public class VideoDecoder {

    private MediaExtractor extractor;
    private MediaCodec videoDecoder;
    private MediaCodec audioDecoder;

    public void decodeVideo(String filePath) {
        try {
            // 创建 MediaExtractor
            extractor = new MediaExtractor();
            extractor.setDataSource(filePath);

            // 获取轨道索引
            int videoTrackIndex = -1;
            int audioTrackIndex = -1;
            for (int i = 0; i < extractor.getTrackCount(); i++) {
                MediaFormat format = extractor.getTrackFormat(i);
                String mimeType = format.getString(MediaFormat.KEY_MIME);
                if (mimeType.startsWith("video/")) {
                    videoTrackIndex = i;
                } else if (mimeType.startsWith("audio/")) {
                    audioTrackIndex = i;
                }
            }

            // 选择轨道
            extractor.selectTrack(videoTrackIndex);
            extractor.selectTrack(audioTrackIndex);

            // 创建 MediaCodec
            videoDecoder = MediaCodec.createDecoderByType(videoMimeType);
            audioDecoder = MediaCodec.createDecoderByType(audioMimeType);

            // 配置 MediaCodec
            MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
            MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();
            videoDecoder.configure(videoFormat, null, null, 0);
            audioDecoder.configure(audioFormat, null, null, 0);

            // 启动 MediaCodec
            videoDecoder.start();
            audioDecoder.start();

            // 提取媒体数据
            while (true) {
                int sampleSize = extractor.readSampleData(videoBuffer, 0);
                if (sampleSize < 0) {
                    break;
                }
                extractor.advance();
            }

            // 解码媒体数据
            videoDecoder.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);
            audioDecoder.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);

            // 获取解码后的数据
            int outputBufferIndex = videoDecoder.dequeueOutputBuffer(videoBufferInfo, timeoutUs);
            int outputBufferIndex = audioDecoder.dequeueOutputBuffer(audioBufferInfo, timeoutUs);

            // 释放资源
            extractor.release();
            videoDecoder.release();
            audioDecoder.release();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}