FFmpeg + OpenSL ES 音频解码与播放：让声音活起来

2023-12-26 04:40:45

踏上音视频开发的旅程，FFmpeg 和 OpenSL ES 将成为你的得力助手，带你领略音频解码和播放的奥妙。

OpenSL ES：Android 音频世界的门户

OpenSL ES（Open Sound Library for Embedded Systems）是 Android 系统提供的一套跨平台 API，专为嵌入式系统中的音频处理而设计。它提供了一组低级接口，允许开发人员直接与音频硬件交互，实现灵活、高效的音频处理。

FFmpeg：音视频领域的瑞士军刀

FFmpeg 是一个强大的开源库，提供了一系列处理音视频数据的工具，包括解码、编码、转码、复用和流化。它支持广泛的音频和视频格式，为开发人员提供了无与伦比的灵活性。

解码与播放的交响曲

使用 FFmpeg 和 OpenSL ES 实现音频解码和播放的过程可以分解为以下步骤：

解码音频数据： FFmpeg 负责将压缩的音频数据解码为原始 PCM 格式。
创建 OpenSL ES 对象： 建立一个 OpenSL ES 引擎、播放器和音频缓冲区对象。
将解码数据写入缓冲区： 将解码后的 PCM 数据写入 OpenSL ES 缓冲区，以便播放。
启动播放： 命令 OpenSL ES 播放器开始播放缓冲区中的音频数据。

实践中的魅力

以下代码片段展示了如何使用 FFmpeg 和 OpenSL ES 实现音频解码和播放：

// 创建 OpenSL ES 引擎
SLEngine engine = SLEngineItf_createEngine();

// 创建 OpenSL ES 播放器
SLObjectItf playerObject = NULL;
SLEngineItf_createAudioPlayer(engine, &playerObject, SL_IID_AUDIOPLAYER, &playerConfig);

// 创建 OpenSL ES 音频缓冲区
SLAndroidSimpleBufferQueueItf bufferQueue;
SLPlayerItf_RealizeAudioPlayer(playerObject, SL_BOOLEAN_FALSE);
SLPlayerItf_GetInterface(playerObject, SL_IID_ANDROIDSIMPLEBUFFERQUEUE, &bufferQueue);

// 从 FFmpeg 解码音频数据
AVFrame *frame = av_frame_alloc();
while (av_read_frame(codecCtx, frame) >= 0) {
    // 解码音频数据
    avcodec_send_frame(codecCtx, frame);
    avcodec_receive_frame(codecCtx, frame);

    // 写入 OpenSL ES 缓冲区
    (*bufferQueue)->Enqueue(bufferQueue, frame->data[0], frame->linesize[0]);
}

// 开始播放
(*player)->SetPlayState(player, SL_PLAYSTATE_PLAYING);