较大的特征范围如何影响 KNN 等算法中的距离计算？

适用条件

• 适用于 KNN 或 K-means 等基于距离的机器学习算法。
• 特征未缩放或未归一化。
• 使用标准度量（如欧氏距离）计算距离。

理解与推导

1. 使用公式 $\sqrt{(\Delta x_{horizontal})^2 + (\Delta x_{vertical})^2}$ 计算两点之间的欧氏距离。
2. 观察到如果水平特征具有大得多的范围，则 $\Delta x_{horizontal} \gg \Delta x_{vertical}$。
3. 得出垂直分量在平方根下的总和中变得可以忽略不计，因此距离大约为 $|\Delta x_{horizontal}|$。
4. 认识到这会偏向算法只考虑较大尺度的特征。

例子

视频显示了一个散点图，其中连接两点的黄色线段几乎完全是水平的，因为水平特征具有大得多的范围。归一化后，线段重新绘制，水平和垂直分量都有显着的贡献。

容易误解的地方

• 认为在距离计算中占主导地位的特征本质上对预测任务更重要；它通常只是特征数值范围的伪影。
• 假设基于距离的算法会自动正确处理不同的特征尺度。

观看对应讲解

继续追问

• 在计算距离之前对特征应用归一化的视觉和数学效果是什么？
• 为什么特征缩放在机器学习中很重要？
• 最小-最大归一化的公式是什么？