揭秘iOS YUV NV21格式CVPixelBufferRef如何秒变OpenCV RGB格式cv::Mat

2023-11-09 13:53:17

将 YUV NV21 CVPixelBufferRef 转换为 OpenCV RGB cv::Mat

作为 iOS 开发人员，我们经常需要处理摄像头采集的图像和视频数据。其中一项常见任务是将这些数据从 iOS 系统的 CVPixelBufferRef 格式转换为 OpenCV 的 cv::Mat 格式，以便进行图像处理和分析。本文将逐步指导你完成此转换过程，并提供详细的示例代码。

为什么要转换？

OpenCV 是计算机视觉和图像处理领域的领先库，它使用 cv::Mat 作为其图像数据结构。另一方面，iOS 系统使用 CVPixelBufferRef 作为图像数据的底层表示。为了在 OpenCV 中使用图像数据，我们需要将其从 CVPixelBufferRef 转换为 cv::Mat 格式。

YUV NV21 格式

YUV NV21 是一种常见的视频格式，它将亮度 (Y) 和色度 (UV) 信息交错存储在一个平面中。它通常用于移动设备，因为它可以提供良好的图像质量，同时占用较少的空间。

转换步骤

将 YUV NV21 CVPixelBufferRef 转换为 OpenCV RGB cv::Mat 的步骤如下：

导入必要的库

#import <UIKit/UIKit.h>
#import <OpenCV/OpenCV.h>

将 CVPixelBufferRef 转换为 CVImageBufferRef

CVImageBufferRef imageBufferRef = CMSampleBufferGetImageBuffer(sampleBuffer);

创建 cv::Mat 对象

cv::Mat mat(CV_CAP_OPENNI_DEPTH_MAP, cv::Size(CVPixelBufferGetWidth(imageBufferRef), CVPixelBufferGetHeight(imageBufferRef)), CV_8UC4);

复制 CVImageBufferRef 数据

CVPixelBufferLockBaseAddress(imageBufferRef, kCVPixelBufferLock_ReadOnly);
memcpy(mat.data, CVPixelBufferGetBaseAddress(imageBufferRef), CVPixelBufferGetDataSize(imageBufferRef));
CVPixelBufferUnlockBaseAddress(imageBufferRef, kCVPixelBufferLock_ReadOnly);

转换格式

cvtColor(mat, mat, COLOR_YUV2BGR_NV21);

示例代码

以下是一个完整的示例代码，展示了如何执行此转换：

#import <UIKit/UIKit.h>
#import <OpenCV/OpenCV.h>

@interface ViewController : UIViewController

@end

@implementation ViewController

- (void)viewDidLoad {
    [super viewDidLoad];

    // 假设我们已经获取到了 CMSampleBuffer 对象
    CMSampleBufferRef sampleBuffer = ...;

    // 将 CMSampleBufferRef 转换为 CVImageBufferRef
    CVImageBufferRef imageBufferRef = CMSampleBufferGetImageBuffer(sampleBuffer);

    // 创建 cv::Mat 对象
    cv::Mat mat(CV_CAP_OPENNI_DEPTH_MAP, cv::Size(CVPixelBufferGetWidth(imageBufferRef), CVPixelBufferGetHeight(imageBufferRef)), CV_8UC4);

    // 复制 CVImageBufferRef 数据
    CVPixelBufferLockBaseAddress(imageBufferRef, kCVPixelBufferLock_ReadOnly);
    memcpy(mat.data, CVPixelBufferGetBaseAddress(imageBufferRef), CVPixelBufferGetDataSize(imageBufferRef));
    CVPixelBufferUnlockBaseAddress(imageBufferRef, kCVPixelBufferLock_ReadOnly);

    // 转换格式
    cvtColor(mat, mat, COLOR_YUV2BGR_NV21);

    // 使用 cv::Mat 对象进行图像处理或其他操作
    ...
}

@end