为什么特征未缩放时梯度下降会振荡？

适用条件

• 用于带有梯度下降的线性回归优化。
• 特征具有显著不同的尺度（例如，一个范围从 0 到 1，另一个从 100 到 1000）。

理解与推导

1. 分析梯度下降更新规则：参数 $\theta_i$ 的变化与特征值 $x_i$ 成正比。
2. 观察到如果 $x_1$ 很小，$\theta_1$ 的步长将会很小。
3. 观察到如果 $x_2$ 很大，$\theta_2$ 的步长将会很大。
4. 得出步长的这种差异导致优化路径在成本函数等高线的狭窄维度上低效地振荡，从而延迟收敛。

例子

视频通过等高线图对此进行了可视化，显示了一个细长的山谷和一条向最小值移动的红色锯齿状路径，这是由 $x_1 \in (0, 1)$ 和 $x_2 \in (100, 1000)$ 引起的。

容易误解的地方

• 认为较小的学习率可以在不缩放的情况下修复振荡；它只会减慢大步长，使小步长更慢。
• 假设无论特征尺度如何，梯度下降总是采取直接路径到最小值。

观看对应讲解

继续追问

• 较大的特征范围如何影响 KNN 等算法中的距离计算？
• 梯度下降的参数更新规则是什么？
• 为什么特征缩放在机器学习中很重要？