量身定制：利用昇腾910B快速测试ChatGLM3-6B/BaiChuan2-7B模型推理

2023-12-17 00:11:12

大模型国产化适配篇六 —— 基于昇腾910B快速验证ChatGLM3-6B/BaiChuan2-7B模型推理

随着 ChatGPT 的现象级走红，引领了 AI 大模型时代的变革，导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行 AI 芯片相关的制裁导致 AI 算力的国产化适配势在必行。此前我们分享过一篇利用昇腾910B评估通用AI大模型推理性能的文章，并使用一个简单的NLP推理任务来验证。但那篇文章比较简短，没有对AI大模型推理性能评估的细节进行深入介绍。

今天，我们将讨论一下如何在昇腾 910B 上对 ChatGLM3-6B 和 BaiChuan2-7B 模型进行推理。我们准备了一系列的学习资料和技术分享，帮助大家理解内容并将其应用于自己的工作中。如果您对 AI 大模型感兴趣，请务必阅读这篇文章。

从零开始理解大模型国产化适配

首先，我们来了解一下大模型国产化适配的相关背景知识。随着 AI 技术的快速发展，AI 大模型已经成为各行各业关注的焦点。ChatGPT 的成功进一步证明了 AI 大模型在自然语言处理、代码生成、文本翻译等领域的强大能力。然而，AI 大模型的训练和推理都需要大量的算力支持，这给许多中小企业和研究机构带来了挑战。

国产化适配是指将国外的大模型在国产的 AI 芯片上进行优化和部署，从而降低算力成本并提高模型性能。这对于促进 AI 技术在我国的落地和应用具有重要意义。

ChatGLM3-6B 和 BaiChuan2-7B 模型简介

ChatGLM3-6B 和 BaiChuan2-7B 都是基于Transformer架构的通用 AI 大模型。它们在众多自然语言处理任务上都取得了非常好的效果。ChatGLM3-6B 拥有 60 亿个参数，而 BaiChuan2-7B 拥有 70 亿个参数。

昇腾 910B 简介

昇腾 910B 是华为推出的最新一代 AI 芯片，它采用台积电 7nm 工艺制造，拥有 358 亿个晶体管。昇腾 910B 采用华为自研的达芬奇架构，支持 FP32、FP16 和 INT8 等多种数据精度，峰值算力达到 500 TFLOPS。

在昇腾 910B 上推理 ChatGLM3-6B 和 BaiChuan2-7B 模型

现在，我们来介绍一下如何在昇腾 910B 上推理 ChatGLM3-6B 和 BaiChuan2-7B 模型。

1. 准备模型

首先，我们需要准备 ChatGLM3-6B 和 BaiChuan2-7B 模型。您可以从网上下载这些模型，也可以使用华为提供的预训练模型。

2. 转换模型

接下来，我们需要将 ChatGLM3-6B 和 BaiChuan2-7B 模型转换为昇腾 910B 能够识别的格式。您可以使用华为提供的转换工具来完成这一步。

3. 部署模型