欠定方程组最小范数解：从几何投影到 Moore-Penrose 伪逆的 2 种推导与联系

欠定方程组最小范数解从几何投影到 Moore-Penrose 伪逆的 2 种推导与联系在工程计算与机器学习中我们常遇到方程数量少于未知数的情况——这类系统被称为欠定方程组。与超定系统追求最小二乘解不同欠定问题的核心挑战在于如何从无穷多解中筛选出最具物理意义的解。本文将深入剖析最小范数解这一经典方法揭示其几何本质与代数实现。1. 欠定系统的几何图景考虑行满秩矩阵 $A \in \mathbb{R}^{m \times n}$$m n$构成的线性系统 $Ax b$。其解空间可表示为 $$ {x \mid Ax b} {x_p z \mid z \in \mathcal{N}(A)} $$ 其中 $x_p$ 为特解$\mathcal{N}(A)$ 是 $A$ 的零空间维度为 $n - m$。几何视角在 $n$ 维空间中解集构成一个超平面。最小范数解即该超平面上距离原点最近的点其性质可通过投影定理严格表述最小范数解 $x_{\text{ln}}$ 满足 $x_{\text{ln}} \perp \mathcal{N}(A)$即解向量与零空间正交。这一性质揭示了最小范数解的唯一性。通过构造拉格朗日函数可证明该解恰为 $b$ 在 $A$ 的行空间上的投影import numpy as np def min_norm_solve(A, b): return A.T np.linalg.inv(A A.T) b2. 代数推导分裂法与拉格朗日乘子法2.1 分裂法推导设 $x A^T \bar{x}$其中 $\bar{x} \in \mathbb{R}^m$。代入原方程得 $$ AA^T \bar{x} b \implies \bar{x} (AA^T)^{-1}b $$ 从而得到闭式解 $$ x_{\text{ln}} A^T(AA^T)^{-1}b $$关键步骤验证对任意其他解 $x$有 $A(x-x_{\text{ln}})0$计算内积 $(x-x_{\text{ln}})^T x_{\text{ln}} 0$证得正交性由勾股定理 $|x|^2 |x_{\text{ln}}|^2 |x-x_{\text{ln}}|^2 \geq |x_{\text{ln}}|^2$2.2 拉格朗日乘子法构建优化问题 $$ \min_x |x|^2 \quad \text{s.t.} \quad Ax b $$ 拉格朗日函数为 $$ \mathcal{L}(x, \lambda) x^Tx \lambda^T(Ax - b) $$ 求导得 KKT 条件 $$ \begin{cases} 2x A^T\lambda 0 \ Ax b \end{cases} $$ 解得 $$ x_{\text{ln}} A^T(AA^T)^{-1}b $$两种方法殊途同归印证了 Moore-Penrose 伪逆 $A^\dagger A^T(AA^T)^{-1}$ 的理论正确性。3. 伪逆的统一框架Moore-Penrose 伪逆完美统一了超定与欠定系统的求解系统类型矩阵形状伪逆形式解的性质超定系统$m n$$(A^TA)^{-1}A^T$最小二乘解欠定系统$m n$$A^T(AA^T)^{-1}$最小范数解计算实践实际应用中推荐使用 QR 分解避免直接求逆[Q,R] qr(A); x_ln Q * (R \ b);4. 正则化与数值稳定性当 $AA^T$ 接近奇异时Tikhonov 正则化提供稳定解 $$ x_\mu (A^TA \mu I)^{-1}A^Tb $$ 随着 $\mu \to 0$正则化解收敛于最小范数解。现代数值库如 MATLAB 的lsqminnorm实现了自适应正则化x lsqminnorm(A, b, RegularizationFactor, 1e-6);经验提示在处理病态问题时适当调整正则化因子可平衡解的范数与残差。