精度与召回：机器翻译评估指标BLEU与ROUGE

2023-11-22 15:32:56

引言：机器翻译评估的难题

机器翻译作为人工智能领域的一项重要任务，旨在将一种语言的文本自动翻译为另一种语言的文本。随着机器翻译技术的发展，如何客观准确地评估机器翻译的质量成为一项关键挑战。众所周知，机器翻译评估是一项复杂且具有挑战性的任务，因为它需要同时考虑翻译的准确性、流畅性和信达雅。目前，业界常用的机器翻译评估指标主要有BLEU和ROUGE，本文将对这两个指标进行详细分析，并探讨其在文本摘要和文本相似度评价中的应用。

一、BLEU：以精确率为导向的机器翻译评估指标

BLEU（Bilingual Evaluation Understudy）是机器翻译领域最具影响力的评估指标之一，由Kishore Papineni等人于2001年提出。BLEU的计算原理是将机器翻译输出与人类翻译输出进行比较，并根据两者之间的n-gram重叠情况来计算得分。n-gram是指连续的n个单词序列，例如“我爱自然语言处理”这句话的3-gram包括“我爱自然”、“爱自然语言”、“自然语言处理”等。

BLEU的得分范围为0到1，得分越高，机器翻译的质量越好。BLEU的计算公式如下：

BLEU = BP * exp(Σ(wn * log Pn))

其中：

BP是惩罚因子，用于惩罚翻译输出过短的情况。
wn是第n-gram的权重，通常设置为1/n。
Pn是机器翻译输出中第n-gram的准确率。

BLEU指标的优点是计算简单、直观，并且与人类评估结果具有较高的相关性。然而，BLEU指标也存在一些缺点，例如：

BLEU指标过于注重精确率，而忽略了召回率。也就是说，BLEU指标可能会高估那些翻译准确但覆盖面窄的机器翻译系统。
BLEU指标对词序变化非常敏感，即使机器翻译输出与人类翻译输出的含义相同，但词序不同，也会导致BLEU得分较低。
BLEU指标无法衡量机器翻译输出的流畅性和信达雅。

二、ROUGE：以召回率为导向的机器翻译评估指标

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是另一个常用的机器翻译评估指标，由Chin-Yew Lin等人于2004年提出。ROUGE的计算原理是将机器翻译输出与人类翻译输出进行比较，并根据两者之间的最长公共子序列来计算得分。最长公共子序列是指两个序列中最长的公共子序列，例如“我爱自然语言处理”这句话与“自然语言处理是我的最爱”这句话的最长公共子序列是“自然语言处理”。

ROUGE的得分范围也为0到1，得分越高，机器翻译的质量越好。ROUGE的计算公式如下：

ROUGE-N = (ΣLCSn) / (ΣCn)

其中：