从指数族分布开始了解机器学习基本思想之线性回归与logistic回归

从指数族分布说起（一）

1. 回顾机器学习的基本思想

机器学习所要实现多任务往往是：给定一组训练数据D，我们希望通过D得到我们研究的输入空间的概率分布。或者换句话说，学习到输入空间X到输出空间Y的映射。

这个思想最早可以追溯到贝叶斯统计，贝叶斯统计是关于不确定事件的理论，它使用概率分布来表示事件的不确定性。贝叶斯统计的核心思想是，对于一个未知事件，我们可以用概率分布来它的不确定性，然后通过观测数据来更新这个概率分布。

2. 指数族分布

指数族分布是机器学习中非常重要的一类概率分布，它是指参数通过指数函数表达的概率分布。指数族分布包括很多常见的分布，如高斯分布、二项分布、多项分布、泊松分布等。指数族分布的概率密度函数可以表示为如下形式：

其中，x是随机变量，\theta是参数，h(x)是基函数，b(\theta)是归一化因子。

指数族分布有几个重要的性质：

• 它具有共轭先验分布，这意味着可以通过观测数据来更新其参数的概率分布。
• 它具有指数函数的统计量，这意味着其期望值、方差等统计量都可以用指数函数来表示。
• 它具有最大似然估计的闭式解，这意味着可以通过求导的方法来得到其参数的最大似然估计值。

3. 指数族分布在机器学习中的应用

指数族分布在机器学习中有广泛的应用，在传统机器学习中它被用做生成模型和判别模型的基础。它在监督学习和非监督学习中都发挥了重要作用，并帮助模型估计和模型选择的效率得到提高。

生成模型

指数族分布可以作为生成模型来使用，这意味着我们可以用它来生成数据。例如，我们可以用高斯分布来生成正态分布的数据，用二项分布来生成二进制的数据，用多项分布来生成多分类的数据。

判别模型

指数族分布也可以作为判别模型来使用，这意味着我们可以用它来预测数据。例如，我们可以用逻辑回归模型来预测二分类的数据，用多类支持向量机模型来预测多分类的数据。

模型估计

指数族分布可以帮助我们估计模型的参数。例如，我们可以用最大似然估计法来估计高斯分布的参数，用贝叶斯估计法来估计逻辑回归模型的参数。

模型选择

指数族分布可以帮助我们选择模型。例如，我们可以用交叉验证的方法来选择最优的高斯分布模型，用贝叶斯信息准则来选择最优的逻辑回归模型。

4. 总结

指数族分布是机器学习中非常重要的一类概率分布，它具有共轭先验分布、指数函数的统计量、最大似然估计的闭式解等性质。它在机器学习中有广泛的应用，包括生成模型、判别模型、模型估计、模型选择等。