流媒体解析与封装：Android平台MediaExtractor与MediaMuxer深入剖析

2023-12-21 14:01:45

深入解析 Android 音视频处理的利器：MediaExtractor 和 MediaMuxer

在移动应用开发中，音视频处理是一个不可或缺的部分。对于 Android 平台来说，MediaExtractor 和 MediaMuxer 是两个不可或缺的类，它们分别用于提取和封装 MP4 音视频文件。本文将深入探讨这两个类的用法，帮助你掌握 Android 平台音视频处理的精髓。

1. MediaExtractor：视频文件的探测器

MediaExtractor 是一个强大的类，可以解析 MP4 等音视频文件，将其中的视频和音频流分离出来。这意味着你可以将原始的文件分解成各个组成部分，以便进一步处理或操作。

使用方法：

val mediaExtractor = MediaExtractor()
mediaExtractor.setDataSource(filePath)
val trackCount = mediaExtractor.trackCount

for (i in 0 until trackCount) {
    val trackFormat = mediaExtractor.getTrackFormat(i)
    if (trackFormat.getString(MediaFormat.KEY_MIME) == "video/avc") {
        // 处理视频流
    } else if (trackFormat.getString(MediaFormat.KEY_MIME) == "audio/mp4a-latm") {
        // 处理音频流
    }
}

2. MediaMuxer：音视频文件的合成器

MediaMuxer 就像音视频处理中的建筑师，它可以将提取到的视频和音频流合成一个新的 MP4 文件。有了它，你可以将不同的媒体元素组合在一起，创建出完整的音视频作品。

使用方法：

val mediaMuxer = MediaMuxer(outputFilePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
val videoTrackIndex = mediaMuxer.addTrack(videoFormat)
val audioTrackIndex = mediaMuxer.addTrack(audioFormat)

// 设置开始时间戳
mediaMuxer.startTime = 0

// 逐一写入样本数据
while (mediaExtractor.sampleTrackIndex >= 0) {
    val bufferInfo = MediaCodec.BufferInfo()
    val sampleSize = mediaExtractor.readSampleData(bufferInfo, 0)
    if (sampleSize > 0) {
        mediaMuxer.writeSampleData(mediaExtractor.sampleTrackIndex, mediaExtractor.sampleData, bufferInfo)
        mediaExtractor.advance()
    } else {
        mediaExtractor.unselectTrack(mediaExtractor.sampleTrackIndex)
    }
}

// 停止写入数据
mediaMuxer.stop()
mediaMuxer.release()