FFmpeg 音频解码：结合 FFmpeg 和 OpenSLES 打造移动音频播放器

Android

2023-11-10 13:18:31

移动设备上的音频解码和播放：FFmpeg 和 OpenSLES 深入浅出

在移动设备的开发中，音频播放功能至关重要，而这项功能的实现需要解决两个关键任务：解码和播放。本文将深入探讨如何利用 FFmpeg 和 OpenSLES 这两个强大的工具来实现音频解码和播放。

FFmpeg：音频解码利器

FFmpeg 是一个久负盛名的多媒体库，以其强大的解码能力闻名。要使用 FFmpeg 解码音频，我们只需遵循以下步骤：

打开音频文件
查找音频流
创建解码上下文
分配音频帧
逐个解码音频帧

libswresample：格式转换器

解码后的音频数据通常是 PCM 格式，但移动设备可能需要其他格式，例如 AAC 或 Opus。此时，我们就需要 libswresample 库来转换音频格式。

OpenSLES：音频播放的桥梁

OpenSLES（OpenSL ES）是一个跨平台 API，为移动设备上的音频播放提供了丰富的功能。使用 OpenSLES，我们可以：

创建 OpenSL ES 引擎
创建 OpenSL ES 混音器
创建 OpenSL ES 播放器
将解码后的音频数据写入播放器

代码示例

下面是一个使用 FFmpeg 和 OpenSLES 实现音频解码和播放的示例代码片段：

// FFmpeg 解码音频
AVFormatContext *format_context;
AVCodecContext *codec_context;
AVFrame *frame;
avformat_open_input(&format_context, "input.mp3", NULL, NULL);
avformat_find_stream_info(format_context, NULL);
avcodec_find_decoder(format_context->streams[0]->codecpar);
avcodec_open2(format_context->streams[0]->codec, NULL, NULL);
frame = av_frame_alloc();

// libswresample 转换音频格式
SwrContext *swr_context;
swr_context = swr_alloc();
swr_alloc_set_opts(swr_context, ...);
swr_init(swr_context);

// OpenSLES 音频播放
SLObjectItf engine;
SLObjectItf outputMix;
SLObjectItf player;
slCreateEngine(&engine, 0, NULL, 0, NULL, NULL);
slRealizeEngine(engine, SL_BOOLEAN_FALSE);
slCreateOutputMix(&outputMix, engine, 0, 0, 0);
slRealizeOutputMix(outputMix, SL_BOOLEAN_FALSE);
// ...（其他 OpenSLES 代码）

// 循环解码音频并播放
while (av_read_frame(format_context, &packet) >= 0) {
    if (packet.stream_index == 0) {
        avcodec_send_packet(codec_context, &packet);
        while (avcodec_receive_frame(codec_context, frame) == 0) {
            swr_convert(swr_context, ..., frame->data, frame->nb_samples, ...);
            // 将转换后的音频数据写入播放器
        }
    }
    av_packet_unref(&packet);
}