跳到内容
← 全部问题

何时应在机器学习中使用特征缩放?

对于依赖欧几里得距离或基于梯度的优化的算法,应使用特征缩放,例如 KNN、K-means、线性回归、逻辑回归和神经网络。对于基于树的模型,如决策树、随机森林和 XGBoost,通常不需要缩放。

适用条件

  • 模型使用对特征尺度敏感的度量或迭代优化。
  • 模型不是基于树或树的集成。

理解与推导

  1. 识别算法类型。
  2. 如果使用欧几里得距离(例如 KNN、K-means)或梯度下降(例如 ANN、CNN、线性/逻辑回归),则应用缩放。
  3. 如果是基于树的(例如决策树、随机森林、XGBoost),通常不需要缩放,因为分裂取决于特征条件,而不是绝对量级。

例子

演讲者列出 KNN、K-means、线性回归、逻辑回归、ANN 和 CNN 需要缩放,同时指出决策树、随机森林和 XGBoost 不需要。

容易误解的地方

  • 不必要地对基于树的模型应用缩放。
  • 跳过基于距离或基于梯度的模型的缩放,导致收敛不良或有偏的距离计算。

观看对应讲解

相关概念

继续追问

相关问题

理解原因

↗
理解原因

↗

答案依据视频资料生成并经过独立核验。若有疑问,请核对原视频或联系原作者。