一文看懂高斯分布的求解方法-最大似然估计

人工智能

2024-01-01 14:13:39

高斯分布简介

高斯分布，也称为正态分布，是一种连续概率分布。它是许多统计模型的基础，包括线性回归、时间序列分析和机器学习。

一元高斯分布

一元高斯分布的概率密度函数为：

f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}

其中，μ是分布的均值，σ是分布的标准差。

最大似然估计

最大似然估计是一种用于估计统计模型参数的方法。它是基于这样一个原理：模型参数的值应使模型的似然函数最大化。

对于一元高斯分布，似然函数为：

L(\mu, \sigma) = \prod_{i=1}^n f(x_i) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2}

其中，x_1, x_2, ..., x_n是样本数据。

要估计μ和σ的值，我们需要使似然函数最大化。我们可以通过求解似然函数的一阶偏导数并将其置零来做到这一点。

\frac{\partial L}{\partial \mu} = 0 \quad \frac{\partial L}{\partial \sigma} = 0

求解这些方程，我们可以得到μ和σ的估计值：

\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i

\hat{\sigma} = \sqrt{\frac{1}{n}\sum_{i=1}^n (x_i-\hat{\mu})^2}

多元高斯分布

多元高斯分布是高斯分布的推广，它适用于多维数据。多元高斯分布的概率密度函数为：

f(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}|\mathbf{\Sigma}|^{1/2}}e^{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\mathsf{T}\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}

其中，\mathbf{x}是n维数据向量，\boldsymbol{\mu}是分布的均值向量，\mathbf{\Sigma}是分布的协方差矩阵。

最大似然估计也可以用于估计多元高斯分布的参数。似然函数为：

L(\boldsymbol{\mu}, \mathbf{\Sigma}) = \prod_{i=1}^n f(\mathbf{x}_i) = \left(\frac{1}{(2\pi)^{n/2}|\mathbf{\Sigma}|^{1/2}}\right)^n e^{-\frac{1}{2}\sum_{i=1}^n (\mathbf{x}_i-\boldsymbol{\mu})^\mathsf{T}\mathbf{\Sigma}^{-1}(\mathbf{x}_i-\boldsymbol{\mu})}

求解似然函数的一阶偏导数并将其置零，我们可以得到\boldsymbol{\mu}和\mathbf{\Sigma}的估计值：

\hat{\boldsymbol{\mu}} = \frac{1}{n}\sum_{i=1}^n \mathbf{x}_i

\hat{\mathbf{\Sigma}} = \frac{1}{n}\sum_{i=1}^n (\mathbf{x}_i-\hat{\boldsymbol{\mu}})(\mathbf{x}_i-\hat{\boldsymbol{\mu}})^\mathsf{T}