机器学习2021：局部最小值（local minima）最小不起来怎么办？

局部最小值是机器学习中常见的问题，它会导致神经网络训练不起来。本文将介绍局部最小值是什么，为什么会出现局部最小值，以及如何解决局部最小值问题。

什么是局部最小值？

局部最小值是指一个函数在某个点上取得最小值，但是在整个函数域上不是最小值。换句话说，局部最小值是一个函数在某个点上比相邻的点值更小，但它不是函数的全局最小值。

在机器学习中，局部最小值会经常导致神经网络训练不起来。这是因为神经网络在训练过程中会不断调整自己的参数，以使损失函数的值最小化。如果神经网络陷入局部最小值，那么它将无法找到真正的最小值，从而导致训练失败。

为什么会出现局部最小值？

局部最小值出现的原因有很多，包括：

• 函数本身存在局部最小值。 有些函数本身就存在局部最小值，比如二次函数。
• 优化算法容易陷入局部最小值。 有些优化算法很容易陷入局部最小值，比如梯度下降算法。
• 学习率过大。 学习率过大会导致神经网络在训练过程中跨过局部最小值，从而陷入局部最小值。
• batch size过小。 batch size过大会导致神经网络在训练过程中更新参数的梯度过于嘈杂，从而容易陷入局部最小值。

如何解决局部最小值问题？

解决局部最小值问题的方法有很多，包括：

• 使用不同的优化算法。 有些优化算法不容易陷入局部最小值，比如动量法、RMSProp、Adam等。
• 调整学习率和batch size。 学习率和batch size是两个影响神经网络训练效果的重要超参数。调整学习率和batch size可以帮助神经网络避免陷入局部最小值。
• 使用正则化。 正则化可以帮助神经网络避免过拟合，从而减少局部最小值出现的概率。
• 数据增强。 数据增强可以增加训练数据的数量，从而帮助神经网络避免陷入局部最小值。
• Dropout。 Dropout是一种正则化技术，它可以帮助神经网络避免过拟合，从而减少局部最小值出现的概率。

完整方案

以下是一个解决局部最小值问题的完整方案：

1. 使用动量法、RMSProp或Adam等优化算法。
2. 调整学习率和batch size，使其适合当前的神经网络和数据集。
3. 使用正则化，如L1正则化或L2正则化。
4. 使用数据增强，如随机裁剪、随机翻转、随机缩放等。
5. 使用Dropout。

通过以上方法，可以有效地解决局部最小值问题，提高神经网络的训练效果。