终于分清Cross-Entropy和Negative Log-Likelihood！秘籍在这里！

精彩前言

Cross-Entropy 和 Negative Log-Likelihood 是机器学习中的两个重要概念，它们常常让人感到困惑。今天，我们将拨开迷雾，让你彻底搞懂它们！

Cross-Entropy

Cross-Entropy，又称交叉熵，衡量的是两个概率分布之间的差异。它用于评估模型预测与真实分布之间的差距。Cross-Entropy 越小，表示模型预测越准确。

公式：

H(p, q) = -Σ p(x) log q(x)

其中：

• p(x) 是真实分布
• q(x) 是模型预测分布

Negative Log-Likelihood

Negative Log-Likelihood，又称负对数似然，衡量的是给定参数下观察到数据的概率。它用于评估模型参数的拟合程度。Negative Log-Likelihood 越小，表示模型参数拟合越好。

公式：

NLL(θ; x) = -log P(x; θ)

其中：

• θ 是模型参数
• x 是观察到的数据

异同点

虽然 Cross-Entropy 和 Negative Log-Likelihood 都用于评估模型，但它们有以下不同点：

• 衡量对象： Cross-Entropy 衡量的是分布之间的差异，而 Negative Log-Likelihood 衡量的是参数拟合程度。
• 公式： Cross-Entropy 的公式中包含真实分布，而 Negative Log-Likelihood 的公式中没有。
• 目的： Cross-Entropy 用于选择最佳模型，而 Negative Log-Likelihood 用于估计模型参数。

应用场景

• Cross-Entropy： 用于分类和回归任务的模型选择。
• Negative Log-Likelihood： 用于估计模型参数，如最大似然估计 (MLE)。

举个例子

假设我们有一个分类模型，它将数据点分为两类。模型预测概率分布为 q(x)，真实分布为 p(x)。

• 如果 Cross-Entropy 较小，则表示模型预测与真实分布非常相似。
• 如果 Negative Log-Likelihood 较小，则表示模型参数很好地拟合了观察到的数据。

结论

通过学习本文，你已经掌握了 Cross-Entropy 和 Negative Log-Likelihood 的关键知识。下次再遇到这两个概念时，你就能自信地解释它们的含义和区别了！