线性规划中的对偶：存在即合理性的证明

2024-01-24 14:49:49

存在即有理---线性规划中的对偶

线性规划是运筹学中最重要的一个分支，它的应用范围非常广泛，从最简单的资源分配问题到复杂的经济模型，都可以用线性规划来求解。但是，求解线性规划问题有时会遇到困难，比如当变量个数或约束条件个数很多时，直接求解会变得非常困难。

这时，对偶理论就派上用场了。对偶理论告诉我们，对于一个线性规划问题，可以构造一个与其对应的对偶问题，并且这个对偶问题的最优值等于原问题的最优值。也就是说，求解对偶问题可以间接求解原问题。

对偶理论的基本原理

设原线性规划问题为：

\begin{align} \min & \mathbf{c}^T\mathbf{x} \\\ \text{s.t.} & A\mathbf{x} \ge \mathbf{b} \\\ & \mathbf{x} \ge 0 \end{align}

则其对偶问题为：

\begin{align} \max & \mathbf{b}^T\mathbf{y} \\\ \text{s.t.} & A^T\mathbf{y} \le \mathbf{c} \\\ & \mathbf{y} \ge 0 \end{align}

其中，\mathbf{x}是原问题的决策变量，\mathbf{y}是对偶问题的决策变量，A是约束矩阵，\mathbf{b}是约束向量，\mathbf{c}是目标函数系数向量。

存在即合理性的证明

对偶理论中最著名的一个结论就是存在即合理性。这个结论告诉我们，如果原问题存在可行解，那么其对偶问题也存在可行解；如果原问题存在最优解，那么其对偶问题也存在最优解，并且这两个问题的最优值相等。

存在即合理性的证明方法有很多种，这里介绍一种比较简单的证明方法。

首先，我们假设原问题存在一个可行解\mathbf{x}^*. 则有A\mathbf{x}^* \ge \mathbf{b}。我们构造对偶问题的可行解\mathbf{y}^* = A^T\mathbf{x}^*. 则有

\begin{align} A^T\mathbf{y}^* &= A^T A^T\mathbf{x}^* \\\ & = (AA^T)\mathbf{x}^* \\\ & = I\mathbf{x}^* \\\ & = \mathbf{x}^* \\\ & \le \mathbf{c} \end{align}

其中，I是单位矩阵。因此，\mathbf{y}^*是对偶问题的可行解。

其次，我们假设原问题存在最优解\mathbf{x}^*. 则有\mathbf{c}^T\mathbf{x}^* = z^*, 其中z^*是原问题的最优值。我们构造对偶问题的目标函数值p^* = \mathbf{b}^T\mathbf{y}^*. 则有

\begin{align} p^* &= \mathbf{b}^T A^T\mathbf{x}^* \\\ & = (A\mathbf{x}^*)^T\mathbf{y}^* \\\ & \ge \mathbf{c}^T\mathbf{y}^* \qquad (\text{因为 } A\mathbf{x}^* \ge \mathbf{b}) \\\ & = z^* \qquad (\text{因为 } \mathbf{y}^* \text{是对偶问题的可行解}) \end{align}

因此，p^*是对偶问题的最优值，并且p^* = z^*.

综上所述，如果原问题存在可行解，那么其对偶问题也存在可行解；如果原问题存在最优解，那么其对偶问题也存在最优解，并且这两个问题的最优值相等。这证明了对偶理论中的存在即合理性。

卡鲁什-库恩-塔克(KKT)条件

卡鲁什-库恩-塔克(KKT)条件是一组必要条件，如果一个线性规划问题满足这些条件，那么其当前的可行解就是最优解。KKT条件如下：