简单线性回归的最小二乘目标函数是什么？

最小二乘拟合 $A\vec{x}^*$ 被识别为 $\vec{b}$ 到 $C(A)$ 的正交投影，因为最小二乘的目标是在子空间 $C(A)$ 中找到最接近 $\vec{b}$ 的向量。子空间的一个基本几何性质指出，子空间中距离外部向量最近的唯一点是其正交投影。

适用条件：$C(A)$ 是 $\mathbb{R}^n$ 的子空间；$\vec{b} \in \mathbb{R}^n$；距离由欧几里得范数衡量

计算需要 $x$、$y$、$xy$ 和 $x^2$ 的和。

适用条件：手工计算最小二乘回归线的斜率和截距。

通过将最小二乘目标函数对截距的偏导数设为零，我们得到以下关系：截距 = mean(y) − 斜率 · mean(x)。这意味着带有截距的拟合直线总是经过样本均值点。

适用条件：模型包含截距项。；对截距参数求导。

最小二乘斜率计算为中心化 x 值和 y 值乘积之和，除以中心化 x 值的平方和。数学上表示为 $\Sigma[(x_i - \bar{x})(y_i - \bar{y})] / \Sigma(x_i - \bar{x})^2$。

适用条件：分母 $\Sigma(x_i - \bar{x})^2$ 为正。；模型为包含截距的简单线性回归。

正规方程的解被认为是最小二乘解，因为它满足了最小化残差范数 $\|\vec{b} - A\vec{x}\|$ 的充要条件。推导表明，最小化该范数等价于要求残差 $A\vec{x}^* - \vec{b}$ 正交于列空间 $C(A)$。

适用条件：原始系统 $A\vec{x}=\vec{b}$ 可能不相容；$A^T A \vec{x}^* = A^T \vec{b}$ 有解