音视频分离提取器实现音视频同步播放

Android

2023-12-04 04:47:59

音视频分离提取器：让您的音视频播放更加流畅

什么是音视频分离提取器？

当我们播放音视频内容时，需要将音视频数据流分离出来，以便分别进行解码和播放。而音视频分离提取器的作用就是从输入的数据流中提取出音视频数据包，并将它们传递给相应的解码器进行解码。

如何实现音视频分离提取器？

实现音视频分离提取器需要子类自行完成。子类需要重写两个抽象方法：

extract()方法： 该方法负责从输入的数据流中提取出音视频数据包。
decode()方法： 该方法负责将提取出的音视频数据包进行解码。

extract()方法的实现

@Override
protected void extract() {
    while (true) {
        byte[] data = inputStream.read();
        if (data == null) {
            break;
        }
        MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
        int trackIndex = decoder.dequeueInputBuffer(info);
        if (trackIndex >= 0) {
            ByteBuffer inputBuffer = decoder.getInputBuffer(trackIndex);
            inputBuffer.put(data);
            decoder.queueInputBuffer(trackIndex, 0, data.length, info.presentationTimeUs, 0);
        }
    }
}

该方法不断从输入的数据流中读取数据包，并将其解析成音视频数据包，然后传递给解码器进行解码。

decode()方法的实现

@Override
protected void decode() {
    while (true) {
        MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
        int trackIndex = decoder.dequeueOutputBuffer(info, TIMEOUT_US);
        if (trackIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
            break;
        } else if (trackIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
            continue;
        } else if (trackIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
            outputFormat = decoder.getOutputFormat();
            continue;
        } else if (trackIndex >= 0) {
            ByteBuffer outputBuffer = decoder.getOutputBuffer(trackIndex);
            outputBuffer.position(info.offset);
            outputBuffer.limit(info.offset + info.size);
            if (isVideo) {
                videoRenderer.render(outputBuffer, info);
            } else {
                audioRenderer.render(outputBuffer, info);
            }
            decoder.releaseOutputBuffer(trackIndex, true);
        }
    }
}