从 MJPEG 流中提取图像：使用 V4L2 的深入指南

Linux

2024-03-01 03:41:38

从 MJPEG 流中提取图像：利用 V4L2 的深入指南

作为一名技术作家和程序员，我经常遇到需要从视频流中提取图像的情况。在计算机视觉领域，这项技术至关重要，用于对象检测、动作识别和视频分析等应用。

在本文中，我将深入探讨如何使用 V4L2 框架从 MJPEG（运动 JPEG）流中提取单个图像，而无需借助外部应用程序。

MJPEG 流中的图像提取

MJPEG 是一种视频压缩格式，将视频流划分为一系列 JPEG 图像。与常见的像素格式（如 YUYV 或 YUV422P）不同，MJPEG 数据无法直接转换为图像。因此，需要解析 MJPEG 数据并提取 JPEG 图像。

解决方案：使用 V4L2 和 JPEG 解码库

V4L2 是 Linux 上广泛使用的视频捕获和回放 API，可提供访问摄像头或其他视频设备所需的接口。要从 MJPEG 流中提取图像，需要：

初始化 V4L2 设备： 设置捕获参数（如分辨率和像素格式）并启用数据流。
读取设备缓冲区数据： 从设备缓冲区读取 MJPEG 数据。
解析 MJPEG 数据： 使用 JPEG 解码库（如 libjpeg）解析 MJPEG 数据并提取 JPEG 图像。
处理图像数据： 解码、转换或执行其他必要的图像处理操作。

示例代码

以下 C 语言示例代码展示了如何实现这些步骤：

// ... 省略初始化和数据流启用代码 ...

// 循环读取数据并提取图像
while (1) {
    // ... 省略数据读取代码 ...

    // 解析 MJPEG 数据并提取 JPEG 图像
    struct jpeg_decompress_struct cinfo;
    struct jpeg_error_mgr jerr;
    cinfo.err = jpeg_std_error(&jerr);
    jpeg_create_decompress(&cinfo);
    jpeg_mem_src(&cinfo, buf.m.userptr, buf.length);
    jpeg_read_header(&cinfo, TRUE);
    jpeg_start_decompress(&cinfo);
    int row_stride = cinfo.output_width * cinfo.output_components;
    unsigned char *image_data = (unsigned char *)malloc(cinfo.output_width * cinfo.output_height * cinfo.output_components);
    while (cinfo.output_scanline < cinfo.output_height) {
        jpeg_read_scanlines(&cinfo, &image_data + cinfo.output_scanline * row_stride, 1);
    }
    jpeg_finish_decompress(&cinfo);
    jpeg_destroy_decompress(&cinfo);

    // ... 省略图像处理代码 ...

    // ... 省略释放和重新队列代码 ...
}

// ... 省略数据流停止和设备关闭代码 ...