返回

Mathematics for Machine Learning：用数学武装你的机器学习之旅

人工智能

前言

数学是机器学习的基础，而矩阵理论是数学中的一个重要分支。在机器学习中，矩阵被广泛用于表示数据、模型和算法。因此，对于机器学习从业者来说，掌握矩阵理论是必不可少的。

往期文章

  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（1）：向量
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（2）：矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：矩阵的乘法
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：矩阵的秩
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：矩阵的行列式
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：矩阵的逆矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：矩阵的相似对角化
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：矩阵的特征值与特征向量
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：矩阵的奇异值分解
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：矩阵的广义逆矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：矩阵的正定矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：矩阵的半正定矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：矩阵的非负矩阵
  • 【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（12）：矩阵的稀疏矩阵

正文

一、Hamilton-Cayley定理

Hamilton-Cayley定理 指出，任何矩阵都满足自己的特征多项式。也就是说，如果A是一个n阶矩阵，那么A的特征多项式p(x)可以写成：

p(A) = A^n + a_{n-1}A^{n-1} + \cdots + a_1A + a_0I = 0

其中，a_{0}, a_1, \cdots, a_{n-1}是p(x)的系数，I是n阶单位矩阵。

证明：

令B = A^n + a_{n-1}A^{n-1} + \cdots + a_1A + a_0I。则B是一个n阶矩阵。

对于任意向量x，有：

Bx = (A^n + a_{n-1}A^{n-1} + \cdots + a_1A + a_0I)x
= A^n x + a_{n-1}A^{n-1} x + \cdots + a_1Ax + a_0x
= A(A^{n-1}x + a_{n-1}A^{n-2}x + \cdots + a_1x + a_0x)
= A(Bx)

因此，B是一个满足Bx = \lambda x的矩阵，其中\lambda = 0。所以，B的特征值都是0。

根据代数基本定理，B的特征多项式一定可以分解成一次因式的乘积：

p(B) = (B-\lambda_1I)(B-\lambda_2I)\cdots(B-\lambda_nI)

其中，\lambda_1, \lambda_2, \cdots, \lambda_n是B的特征值。

由于B的特征值都是0，所以p(B)可以写成：

p(B) = B^n

因此，A的特征多项式p(x)可以写成：

p(x) = A^n + a_{n-1}A^{n-1} + \cdots + a_1A + a_0I = 0

证毕。

二、最小多项式

最小多项式 是矩阵的特征多项式中次数最小的一个。也就是说，如果A是一个n阶矩阵，那么A的最小多项式m(x)可以写成：

m(x) = x^k + b_{k-1}x^{k-1} + \cdots + b_1x + b_0

其中，k是m(x)的次数，b_{0}, b_1, \cdots, b_{k-1}是m(x)的系数。

最小多项式的性质：

  • 最小多项式是唯一的。
  • 最小多项式一定可以整除矩阵的特征多项式。
  • 最小多项式的次数等于矩阵的秩。

最小多项式的求法：

最小多项式可以通过计算矩阵的特征值和特征向量来求得。具体步骤如下：

  1. 计算矩阵A的特征值\lambda_1, \lambda_2, \cdots, \lambda_n。
  2. 构造矩阵A的特征多项式：
p(x) = (x-\lambda_1)(x-\lambda_2)\cdots(x-\lambda_n)
  1. 计算矩阵A的秩r。
  2. 取p(x)中次数最低的r个因式，得到最小多项式m(x)。

结语

矩阵理论是机器学习的重要基础，而Hamilton-Cayley定理和最小多项式是矩阵理论中的两个重要概念。理解这些概念对于机器学习从业者来说是很有必要的。