解锁 Android 硬编码的奥秘：用 MediaCodec 和 Camera2 录制 MP4 视频

2023-11-21 14:07:30

使用 MediaCodec 和 Camera2 在 Android 中录制 MP4 视频：深入指南

简介

在移动应用程序开发中，捕捉和录制视频已成为必不可少的元素。Android 提供了 MediaCodec 和 Camera2，这两个强大的框架，让我们能够利用设备的硬件加速功能，高效地处理视频。本文将深入探讨如何使用 MediaCodec 和 Camera2 录制 MP4 视频文件，揭开视频编码和复用的神秘面纱。

了解 Android 视频录制框架

MediaCodec： MediaCodec 是 Android 中基于硬件加速的编解码器库，负责处理视频和音频数据。它支持各种视频编解码器，如 H.264、VP9 和 HEVC。

MediaMuxer： MediaMuxer 是一种复用器，它将编码后的视频和音频数据整合到 MP4 容器中。

Camera2： Camera2 是 Android 中的一个相机 API，提供对相机硬件的精细控制。它允许我们配置图像传感器，设置曝光和对焦模式，并检索相机生成的原始帧数据。

步骤 1：获取视频帧

录制视频的第一步是获取视频帧。使用 Camera2 API 创建摄像头会话并配置图像传感器以输出 YUV_420_888 格式的帧。这是 MediaCodec 要求的输入格式，它包含 Y、U 和 V 分量的独立平面。

步骤 2：使用 MediaCodec 编码视频

获取视频帧后，使用 MediaCodec 开始编码。创建 H.264 编码器并配置比特率、帧率和视频大小等参数。然后，向编码器提供输入帧，编码器将生成编码后的视频位流。

步骤 3：使用 MediaMuxer 复用视频和音频

编码后的视频位流现在需要复用到 MP4 容器中。创建 MediaMuxer 实例，为视频轨道添加 H.264 编解码器。如果需要，也可以添加音频轨道，使用 MediaCodec 对音频数据进行编码。

MediaMuxer 将编码后的视频和音频数据写入 MP4 文件，自动处理时间戳和同步，确保视频和音频的平滑播放。

高级技巧

使用 SurfaceTexture 作为输入： Camera2 可以使用 SurfaceTexture 作为输入，允许高效地将相机帧传输到 MediaCodec。

使用 MediaCodecCallback： MediaCodec 提供回调，用于监控编码进度和处理错误。

优化编码器设置： 仔细选择比特率、帧率和视频大小，平衡视频质量和文件大小。

使用 I 帧刷新： 定期插入 I 帧可以改善视频的抗抖动性和随机访问能力。

代码示例

// 获取 Camera2 实例
val cameraManager = getSystemService(Context.CAMERA_SERVICE) as CameraManager
val cameraId = cameraManager.cameraIdList[0]
val cameraDevice = cameraManager.openCamera(cameraId, null, null)

// 创建 MediaCodec 编码器
val codecInfo = MediaCodecInfo.CodecCapabilities()
val codecInfo.createEncoderCodec("video/avc")
val codec = MediaCodec.createEncoderByType("video/avc")
val format = MediaFormat.createVideoFormat("video/avc", 1280, 720)
codec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

// 创建 MediaMuxer 复用器
val muxer = MediaMuxer("path/to/output.mp4", MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
val trackIndex = muxer.addTrack(format)

// 启动编码和复用
codec.start()
muxer.start()

// 获取视频帧并编码
while (true) {
    val frame = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).build()
    cameraDevice.capture(frame, null, null)
    val inputBuffer = codec.getInputBuffer(0)
    inputBuffer.put(frame.data)
    codec.queueInputBuffer(0, 0, frame.data.size, 0, 0)
    val outputBuffer = codec.getOutputBuffer(0)
    muxer.writeSampleData(trackIndex, outputBuffer, 0)
    codec.releaseOutputBuffer(0, false)
}

// 停止编码和复用
codec.stop()
muxer.stop()