返回

释放千亿潜能,MindSpore 赋能业界首个千亿中文预训练模型

人工智能

导语

千亿参数量的中文大规模预训练语言模型时代到来。近段时间,中文大规模预训练语言模型圈有些热闹。26 亿参数量的「悟道 · 文源」, 270 亿参数量的 PLUG,以及昨天华为云发布的千亿级别「盘古」N。

参数量的提升,模型能力也随之提升。千亿参数量的「盘古」N模型在业界众多任务的排行榜上遥遥领先,标志着中文预训练语言模型已经迈上了新的台阶,预示着人工智能领域新一轮变革的来临。

推动中文大模型发展的背后,是华为昇腾 AI 基础软硬件平台和 MindSpore 开源框架的鼎力支持。昇腾 AI 基础软硬件平台提供了强大的计算能力,而 MindSpore 则提供了高效的开发环境,让大模型的训练更加轻松和高效。

一、盘古模型傲视群雄,引领中文预训练语言模型新时代

此次发布的「盘古」N模型,参数量高达1024亿,是目前业界公开发布的规模最大的中文预训练语言模型。经过在海量中文语料库上进行充分预训练,「盘古」N模型在各种中文任务上展现出强大的性能,特别是在阅读理解、机器翻译、文本生成等任务上表现尤为突出。

在业界权威的中文语言理解评测基准 CLUE 上,「盘古」N模型在多项任务中取得了第一名的成绩,尤其是针对文本分类、语义相似度和文本蕴含等任务,「盘古」N模型更是将优势体现得淋漓尽致。

「盘古」N模型不仅仅在中文任务上表现优异,在英文任务上也取得了令人瞩目的成绩。在业界权威的英文语言理解评测基准 GLUE 上,「盘古」N模型同样在多项任务中取得了第一名的成绩,这表明「盘古」N模型已经具备了跨语言迁移的能力。

二、揭秘 MindSpore 赋能「盘古」N模型的背后力量

在「盘古」N模型的背后,是华为昇腾 AI 基础软硬件平台和 MindSpore 开源框架的鼎力支持。昇腾 AI 基础软硬件平台提供了强大的计算能力,而 MindSpore 则提供了高效的开发环境,让大模型的训练更加轻松和高效。

昇腾 AI 基础软硬件平台是华为面向人工智能领域推出的全栈解决方案,包括昇腾系列芯片、昇腾系列 AI 加速卡、昇腾系列 AI 服务器和昇腾系列 AI 集群。昇腾 AI 基础软硬件平台具有高性能、低功耗、易扩展等特点,为大模型的训练提供了坚实的硬件基础。

MindSpore 是华为开源的深度学习框架,采用全栈全场景设计,支持多种编程语言和硬件平台,具有高性能、易用性好、支持端边云协同等特点,为大模型的开发提供了高效的软件平台。

结语

「盘古」N模型的发布,标志着中文预训练语言模型已经迈上了新的台阶,预示着人工智能领域新一轮变革的来临。推动中文大模型发展的背后,是华为昇腾 AI 基础软硬件平台和 MindSpore 开源框架的鼎力支持。昇腾 AI 基础软硬件平台提供了强大的计算能力,而 MindSpore 则提供了高效的开发环境,让大模型的训练更加轻松和高效。