为什么最小二乘拟合 Ax* 被识别为 b 到 $C(A)$ 的正交投影？

正规方程的解被认为是最小二乘解，因为它满足了最小化残差范数 $\|\vec{b} - A\vec{x}\|$ 的充要条件。推导表明，最小化该范数等价于要求残差 $A\vec{x}^* - \vec{b}$ 正交于列空间 $C(A)$。

适用条件：原始系统 $A\vec{x}=\vec{b}$ 可能不相容；$A^T A \vec{x}^* = A^T \vec{b}$ 有解

每个乘积 $A\vec{x}$ 都是列空间 $C(A)$ 的成员，因为矩阵-向量乘法被定义为 $A$ 的各列的线性组合。具体来说，如果 $A = [\vec{a}_1 \ \vec{a}_2 \ \cdots \ \vec{a}_k]$ 且 $\vec{x} = [x_1, \dots, x_k]^T$，那么 $A\vec{x} = x_1\vec{a}_1 + \dots + x_k\vec{a}_k$。

适用条件：$A$ 是 $n \times k$ 矩阵；$\vec{x} \in \mathbb{R}^k$；$C(A)$ 是 $A$ 的各列的张成空间

方程 $A\vec{x}=\vec{b}$ 无解，因为求解它等价于寻找权重 $x_1, \dots, x_k$ 使得 $x_1\vec{a}_1 + \dots + x_k\vec{a}_k = \vec{b}$。列空间 $C(A)$ 定义为 $A$ 的各列的所有可能线性组合的集合。

适用条件：$A$ 是 $n \times k$ 矩阵；$\vec{x} \in \mathbb{R}^k$ 且 $\vec{b} \in \mathbb{R}^n$；$C(A)$ 表示 $A$ 的列空间

最小化欧几里得范数 $\|\vec{b} - A\vec{x}^*\|$ 等价于最小化其平方 $\|\vec{b} - A\vec{x}^*\|^2$。范数的平方在代数上展开为对应分量差的平方和：$(b_1 - v_1)^2 + (b_2 - v_2)^2 + \cdots + (b_n - v_n)^2$，其中 $\vec{v} = A\vec{x}^*$。

适用条件：$\vec{b}, \vec{v} \in \mathbb{R}^n$；使用标准欧几里得范数；$\vec{v} = A\vec{x}^*$

当 $A\vec{x}=\vec{b}$ 没有精确解时，最小二乘解 $\vec{x}^*$ 被定义为使残差的欧几里得范数 $\|\vec{b} - A\vec{x}^*\|$ 最小的向量。从几何上看，这意味着选择 $\vec{x}^*$ 使得 $A\vec{x}^*$ 是列空间 $C(A)$ 内最接近 $\vec{b}$ 的向量。

适用条件：系统 $A\vec{x}=\vec{b}$ 是不相容的（不存在精确解）；距离由标准欧几里得范数衡量