MediaCodec 精湛解码：精准指定视频帧

Android

2023-10-21 08:17:10

在视频解码的广袤世界中，MediaCodec 的锋利之刃

在视频解码的广袤世界里，MediaCodec 闪耀着夺目的光芒，它的迅捷和精确，赋予了开发者自由驾驭视频帧的强大能力。今天，我们踏上一段探险之旅，揭开 MediaCodec 解码指定视频帧的神秘面纱。

视频帧的迷人世界

视频，由连续变化的图像序列构成，而每一幅图像便是一帧。指定帧，是指从视频序列中提取特定时间点的图像。这在许多应用场景中至关重要，例如视频剪辑、帧分析和图像处理。

MediaCodec 的精准之刃

MediaCodec ，Android 平台上强大的视频解码器，它为我们提供了解码指定视频帧的精妙手段。通过一系列精心编排的步骤，我们可以将视频帧从时空中抽离出来：

初始化 MediaCodec 解码器： 根据视频格式，设置必要的解码参数，并创建解码器实例。
配置输入数据： 为解码器提供视频数据，包括要解码的帧的时间戳。
解码视频帧： MediaCodec 解码视频数据，并生成解码后的视频帧。
获取解码后的帧： 从解码器中检索解码后的视频帧，转换为 Bitmap 对象。

实战指南

为了将理论付诸实践，让我们编写一段代码，以 MediaCodec 的锋利之刃，提取视频指定帧的 Bitmap 图像：

import android.graphics.Bitmap;
import android.media.MediaCodec;
import android.media.MediaExtractor;
import android.media.MediaFormat;
import android.util.Log;

public class VideoFrameExtractor {

    private static final String TAG = "VideoFrameExtractor";

    public static Bitmap extractFrame(String videoPath, long timeUs) {
        // 1. 初始化 MediaExtractor
        MediaExtractor extractor = new MediaExtractor();
        extractor.setDataSource(videoPath);

        // 2. 查找视频轨道
        int videoTrackIndex = selectVideoTrack(extractor);
        if (videoTrackIndex == -1) {
            Log.e(TAG, "No video track found in the video.");
            return null;
        }

        // 3. 初始化 MediaCodec 解码器
        MediaCodec decoder = null;
        try {
            MediaFormat format = extractor.getTrackFormat(videoTrackIndex);
            decoder = MediaCodec.createDecoderByType(format.getString(MediaFormat.KEY_MIME));
            decoder.configure(format, null, null, 0);
            decoder.start();
        } catch (Exception e) {
            Log.e(TAG, "Failed to initialize MediaCodec decoder.", e);
            return null;
        }

        // 4. 配置输入数据
        MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
        extractor.selectTrack(videoTrackIndex);
        extractor.seekTo(timeUs, MediaExtractor.SEEK_TO_PREVIOUS_SYNC);
        int inputBufferIndex = decoder.dequeueInputBuffer(0);
        decoder.queueInputBuffer(inputBufferIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);

        // 5. 解码视频帧
        int outputBufferIndex = decoder.dequeueOutputBuffer(info, 0);
        while (outputBufferIndex != MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED &&
                outputBufferIndex != MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
            if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
                break;
            }
            decoder.releaseOutputBuffer(outputBufferIndex, true);
            outputBufferIndex = decoder.dequeueOutputBuffer(info, 0);
        }

        // 6. 获取解码后的帧
        Bitmap bitmap = null;
        if (info.size > 0) {
            bitmap = Bitmap.createBitmap(format.getInteger(MediaFormat.KEY_WIDTH),
                    format.getInteger(MediaFormat.KEY_HEIGHT), Bitmap.Config.ARGB_8888);
            decoder.getOutputImage(outputBufferIndex).copyPixelsToBuffer(bitmap.getPixels());
        }

        // 7. 释放资源
        decoder.stop();
        decoder.release();
        extractor.release();
        return bitmap;
    }

    private static int selectVideoTrack(MediaExtractor extractor) {
        int trackIndex = -1;
        for (int i = 0; i < extractor.getTrackCount(); i++) {
            MediaFormat format = extractor.getTrackFormat(i);
            String mimeType = format.getString(MediaFormat.KEY_MIME);
            if (mimeType.startsWith("video/")) {
                trackIndex = i;
                break;
            }
        }
        return trackIndex;
    }
}