梯度下降的参数更新规则是什么？

适用条件

• 成本函数 J 必须对参数 $\theta$ 可微。
• 必须适当选择学习率 $\alpha$ 以确保收敛。

理解与推导

1. 识别当前参数值 $\theta_i$。
2. 计算成本函数 $J$ 对 $\theta_i$ 的偏导数：$\frac{\partial J(\theta)}{\partial \theta_i}$。
3. 将梯度乘以学习率 $\alpha$。
4. 从当前参数值中减去该乘积。
5. 更新规则为 $\theta_i := \theta_i - \alpha \frac{\partial J(\theta)}{\partial \theta_i}$。

例子

视频在屏幕上显示了一般更新规则“$\theta_i := \theta_i - \alpha \frac{\partial J(\theta)}{\partial \theta_i}$”，后来又显示了线性回归中两个参数的具体规则。

容易误解的地方

• 假设更新是加上梯度而不是减去它；梯度下降沿梯度的相反方向移动以最小化成本函数。
• 忘记学习率 $\alpha$，它控制更新的步长。

观看对应讲解

继续追问

• 为什么特征未缩放时梯度下降会振荡？
• 最小二乘成本函数是什么？
• 为什么特征缩放在机器学习中很重要？