为什么特征缩放在机器学习中很重要？

适用条件

• 适用于梯度下降等迭代优化算法。
• 适用于 KNN 或 K-means 等基于距离的机器学习算法。

理解与推导

1. 识别第一个原因：更快的收敛。具有巨大不同范围的未缩放特征会导致梯度下降中的步长不均匀，从而导致低效的振荡和延迟收敛。
2. 识别第二个原因：适当计算距离。在基于距离的算法中，具有较大数值范围的特征不成比例地影响总距离，掩盖了其他特征的真实重要性。
3. 得出将特征缩放到可比范围可以解决这两个问题，从而提高模型训练效率和距离计算的公平性。

例子

视频在标题为“Why Feature Scaling is Important?”的幻灯片上总结了原因，有两个要点：“Faster Convergence”和“Computing Distance Appropriately”。

容易误解的地方

• 假设特征缩放只对神经网络必要；它对带有梯度下降的线性回归和基于距离的算法（如 KNN）也至关重要。
• 认为在距离计算中占主导地位的特征本质上对预测任务更重要，而不是仅仅具有更大的数值尺度。

观看对应讲解

继续追问

• 为什么特征未缩放时梯度下降会振荡？
• 较大的特征范围如何影响 KNN 等算法中的距离计算？
• 最小-最大归一化的公式是什么？