美团小样本学习模型 FewCLUE 夺魁：探索 Prompt Learning + 自训练实战

2024-01-30 13:26:46

前言

小样本学习，顾名思义，就是模型在数据量有限的情况下，也能有效地进行学习和泛化。而小样本语言理解，即小样本学习在自然语言处理领域中的应用，近几年来备受关注。美团搜索与 NLP 部 NLP 中心语义理解团队深耕于此，研发出的小样本学习模型 FSL++，在权威评测基准 FewCLUE 榜单上勇夺第一。本篇文章将详细剖析 FSL++ 的制胜之道，深入探讨其在 Prompt Learning 和自训练上的实战经验。

Prompt Learning

Prompt Learning 是近年来兴起的一种小样本学习方法，其核心思想是通过精心设计的提示（Prompt），将小样本任务转化为更通用的预训练任务。FSL++ 巧妙地运用了 Prompt Learning 的优势，在FewCLUE 的各个任务上都取得了显著的提升。

具体而言，FSL++ 采用了一种名为 "模板化提示学习" 的策略。该策略针对不同的任务，设计了一系列可复用的提示模板。这些模板根据任务的具体要求，对输入数据进行适当的转换，引导预训练模型学习任务相关的语义信息。例如，在文本分类任务中，FSL++ 使用了一个 "将文本分类为 [类别]" 的提示模板，促使模型关注文本的类别属性，从而提高分类准确率。

自训练

自训练是另一种有效的小样本学习方法，其原理是利用模型对未标记数据的预测结果来产生伪标签，进而扩充训练数据集。FSL++ 结合了 Prompt Learning 和自训练，形成了一个强大的协同学习框架。

在自训练过程中，FSL++ 首先使用 Prompt Learning 策略对小样本数据集进行训练。然后，将训练好的模型应用于大量未标记数据，并根据模型的预测结果生成伪标签。这些伪标签虽然可能不完全准确，但仍然可以为模型提供额外的训练信号。随后，FSL++ 将伪标签数据与原始小样本数据结合起来，进行进一步的训练，从而提升模型在未见任务上的泛化能力。

实战案例

在 FewCLUE 榜单的文本分类任务中，FSL++ 的表现尤为突出。该任务要求模型根据给定的文本片段，将其归类到多个预定义的类别中。FSL++ 采用了上述的 Prompt Learning 和自训练策略，取得了 87.2% 的准确率，远超其他参评模型。

另一个值得一提的实战案例是FewCLUE 的自然语言推理任务。该任务需要模型对给定的文本对进行推理，判断后一个文本是否能从前一个文本中推出。FSL++ 针对该任务设计了专用的提示模板，并结合自训练策略，成功将准确率提升至 84.1%。

结论

美团小样本学习模型 FSL++ 在 FewCLUE 榜单上夺魁，充分证明了 Prompt Learning 和自训练在小样本学习领域的巨大潜力。FSL++ 的制胜之道在于：