技术深潜：使用 MediaCodeC 和 OpenGL 提升 Camera2 视频录制体验

2024-02-11 02:07:29

Camera2：利用 MediaCodec 和 OpenGL 提升视频录制

随着移动设备摄像功能的不断发展，Camera2 API 作为 Android 平台上高级相机控制的标准，为开发人员提供了更广泛的控制权和灵活性。结合 MediaCodec 和 OpenGL，开发者可以创建功能强大的视频录制应用程序，提供令人惊叹的视觉体验。

MediaCodec：高效视频编码

MediaCodec 是 Android 平台上进行媒体编解码的强大框架，支持各种视频编解码器，如 H.264、HEVC 和 VP9。通过利用 MediaCodec，我们可以实现高效的视频编码，以较低的比特率生成高质量的视频，满足用户对视频质量和文件大小的需求。

要将 MediaCodec 集成到您的视频录制应用程序中，首先创建 MediaCodec 实例并指定编解码器，然后配置比特率、帧率、分辨率等参数，最后将 MediaCodec 与 Surface 关联，作为编码后帧的缓冲区。

编码视频帧涉及将帧从相机捕获到输入 Surface，调用 MediaCodec.encodeOutputBuffer() 方法将帧编码为视频比特流，检索编码后的比特流，并将它写入 MediaMuxer 中，与音频数据一起创建最终视频文件。

// 创建 MediaCodec 实例
MediaCodec videoEncoder = MediaCodec.createEncoderByType("video/avc");

// 配置 MediaCodec 实例
MediaCodecInfo videoCodecInfo = videoEncoder.getCodecInfo();
MediaFormat videoFormat = videoCodecInfo.getCapabilitiesForType("video/avc").videoCapabilities.getFormat(0);
videoFormat.setInteger(MediaFormat.KEY_BIT_RATE, 2000000);
videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
videoFormat.setInteger(MediaFormat.KEY_WIDTH, 1280);
videoFormat.setInteger(MediaFormat.KEY_HEIGHT, 720);

// 将 MediaCodec 与 Surface 关联
Surface inputSurface = videoEncoder.createInputSurface();

OpenGL：实时帧处理

除了 MediaCodec 之外，OpenGL 也可以在视频录制中发挥重要作用。它可以将帧处理委托给 GPU，减轻 CPU 负担，提高帧率并降低延迟，从而进一步提升视频录制体验。

在 OpenGL 中，视频帧被存储为纹理，而着色器用于处理纹理，执行颜色校正、锐化、去噪等操作。通过利用着色器，我们可以实时增强视频质量。

// 锐化着色器
precision mediump float;
varying vec2 v_texCoord;
uniform sampler2D u_texture;
uniform float u_sharpness;

void main() {
    vec2 offset = vec2(1.0, 1.0) / vec2(textureSize(u_texture));
    vec4 sum = vec4(0.0);
    sum += texture2D(u_texture, v_texCoord + offset) * 0.09;
    sum += texture2D(u_texture, v_texCoord) * 0.91;
    sum += texture2D(u_texture, v_texCoord - offset) * 0.09;
    gl_FragColor = vec4(sum.rgb * u_sharpness, sum.a);
}

MediaCodec 通过 EGL 创建输入 Surface，由 GPU 支持。这使我们能够使用外部纹理将帧直接从相机复制到输入 Surface，从而避免不必要的内存复制。

// 创建外部纹理
int[] textures = new int[1];
GLES20.glGenTextures(1, textures, 0);
GLES20.glBindTexture(GLES20.GL_TEXTURE_EXTERNAL_OES, textures[0]);
GLES20.glTexParameterf(GLES20.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_NEAREST);
GLES20.glTexParameterf(GLES20.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR);
GLES20.glTexParameteri(GLES20.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE);
GLES20.glTexParameteri(GLES20.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE);

// 创建输入 Surface
inputSurface = new Surface(textures[0]);