数据预处理最强组合出炉：AIPP与DVPP相辅相成，直击昇腾CANN数据预处理痛点

2023-02-08 14:39:53

昇腾CANN的数据预处理利器：DVPP与AIPP

在机器学习模型开发和部署的旅程中，数据预处理扮演着至关重要的角色。它是将原始数据转换成机器可读格式的必要步骤，直接影响模型的性能、准确性和效率。对于昇腾CANN用户而言，华为提供了两大数据预处理法宝：DVPP和AIPP。

DVPP：高性能数据预处理引擎

DVPP （Data Pre-Processing Pipeline）是昇腾CANN提供的高性能数据预处理库。它充分利用了昇腾AI芯片的计算能力，通过多核并行处理技术实现高吞吐量的数据预处理。此外，DVPP支持各种数据格式和预处理操作，具备出色的可扩展性，可轻松适应不同类型的AI模型。其简单易用的API使开发者能够快速构建高效的数据预处理流水线。

AIPP：异构计算的数据预处理解决方案

AIPP （Ascend Image Pre-Processing Pipeline）是专门针对图像处理的昇腾CANN数据预处理库。它支持在CPU和昇腾AI芯片上同时执行数据预处理任务，充分利用不同计算资源的优势。凭借其可编程性，AIPP允许用户自定义数据预处理操作，满足复杂而多样的预处理需求。同样，AIPP也提供了易用的API，方便开发者快速构建数据预处理流水线。

DVPP与AIPP的对比

虽然DVPP和AIPP都是强大的数据预处理库，但它们在某些方面存在差异：

特性	DVPP	AIPP
性能	高	高
可扩展性	好	优
易用性	好	优
异构计算	不支持	支持
可编程性	不支持	支持

DVPP与AIPP的协同效应

DVPP和AIPP在昇腾CANN中紧密协作，DVPP负责通用数据预处理操作，而AIPP专注于图像处理的特定操作。用户可根据实际需求选择使用DVPP或AIPP，也可将两者结合使用，发挥各自优势，获得最佳的性能和易用性。

使用DVPP和AIPP

DVPP和AIPP都提供了简便易懂的API，开发者可使用以下代码示例快速构建数据预处理流水线：

使用DVPP进行数据预处理：

dvpp::PreProcessBuilder builder;
builder.SetBatchSize(1);
builder.Add(dvpp::Resize(32, 32));
builder.Add(dvpp::Normalize(0.5, 0.5));
auto preprocessor = builder.Build();

使用AIPP进行数据预处理：

aIPP::PreProcessBuilder builder;
builder.SetBatchSize(1);
builder.Add(aIPP::Resize(32, 32));
builder.Add(aIPP::Normalize(0.5, 0.5));
auto preprocessor = builder.Build();