最小二乘成本函数是什么？

适用条件

• 用于目标是预测连续值的回归问题。
• 假设特征和目标变量之间存在线性关系。

理解与推导

1. 识别数据点的预测值：$\theta_1 x_1 + \theta_2 x_2$。
2. 识别实际目标值：$y$。
3. 计算数据点的误差（差值）：$(\theta_1 x_1 + \theta_2 x_2 - y)$。
4. 对误差求平方：$(\theta_1 x_1 + \theta_2 x_2 - y)^2$。
5. 对所有 $m$ 个训练样本的平方误差求和并除以 $2m$。
6. 成本函数为 $J(\theta_1, \theta_2) = \frac{1}{2m} \sum (\theta_1 x_1 + \theta_2 x_2 - y)^2$。

例子

视频在屏幕上显示公式“$J(\theta_1, \theta_2) = \frac{1}{2m} \sum (\theta_1 x_1 + \theta_2 x_2 - y)^2$”，并将其称为最小二乘成本函数。

容易误解的地方

• 忘记因子 $\frac{1}{2m}$，它对平方误差求平均并简化了导数计算。
• 假设成本函数衡量的是绝对差而不是平方差。

观看对应讲解

继续追问

• 梯度下降的参数更新规则是什么？
• 为什么特征未缩放时梯度下降会振荡？
• 标准化的公式是什么？