无向图中的概率图模型：因子分解与联合分布

**无向图中的概率图模型** 

**简介** 

概率图模型 (PGM) 是一种数学模型，用于表示概率分布和统计依存性。PGM 可以捕获复杂数据之间的深层联系，并为推理和决策提供坚实的基础。本博文将重点探讨无向图中的因子分解与联合分布的概念，以帮助您更全面地认识 PQM。

**因子分解** 

因子分解是一种将高维概率分布分解为低维因子的数学技巧。具体而言，它将联合概率分布分解为多个因子，每个因子都表示特定子集的变量之间的局部概率交互。

从数学角度看，无向图中联合概率分布 $p(x_1, x_2, ..., x_n)$ 的因子分解形式如下：

p(x_1, x_2, ..., x_n) = ∏_{i=1}^{m} f_i(A_i)

* $x_1, x_2, ..., x_n$：无向图中的变量
* $f_i$：因子，表示变量子集 $A_i$ 上的局部概率分布
* $m$：因子的数量

**联合分布** 

联合分布是无向图中所有变量的联合概率分布。它由所有变量的边际概率分布和这些变量之间的所有成对和高阶关联共同确定。

数学上，无向图中所有变量的联合概率分布定义如下：

p(x_1, x_2, ..., x_n) = ∏{i=1}^{n} p_i(x_i) ∏{i,j: i<j} p_{i,j}(x_i, x_j) ...

* $p_i(x_i)$：$x_i$ 的边际概率分布
* $p_{i,j}(x_i, x_j)$：$x_i$和 $x_j$ 的联合概率分布

**马尔可夫性质** 

马尔可夫性质是指在给定其直接邻居的观测值后，一个变量与图中其余部分是独立的。数学上，一个无向图具有马尔可夫性质，如果且仅如果：

p(x_i | x_1, x_2, ..., x_{i-1}, x_{i+1}, ..., x_n) = p(x_i | x_{i-1}, x_{i+1})

* $x_i$：图中的一个变量
* $x_1, x_2, ..., x_{i-1}, x_{i+1}, ..., x_n$：$x_i$ 的邻居

**实例** 

考虑一个包含三个变量 $A$、$B$、$C$ 的无向图。$A$、$B$、$C$ 的联合分布可以分解为三个因子：

p(A,B,C) = f_1(A) f_2(B) f_3(C)

该分解表示 $A$、$B$、$C$ 的联合概率分布可以由三个独立因子的乘积来。

**结论** 

因子分解和联合分布是无向图概率图模型的基本概念。因子分解使我们可以将高维概率分布分解为更易于管理的低维因子。联合分布汇总了图中所有变量的概率交互。而马尔可夫性质了变量在给定其邻居的观测值后对图的其余部分的独立性。

掌握这些概念将使您有备无患，可以轻松自如地探索无向图中的复杂概率模型。您将可以推断推理、进行概率计算，并使用因子分解和联合分布来揭示数据中的隐藏关联。