跳到内容
← 全部问题

为什么基于树的模型不需要特征缩放?

基于树的模型不需要特征缩放,因为它们根据特征条件(阈值)而不是绝对量级来分割数据。特征值的单调重缩放不会改变分支结构或分裂的顺序。

适用条件

  • 模型是决策树或树的集成(随机森林、XGBoost 等)。
  • 分裂逻辑基于将特征值与阈值进行比较。

理解与推导

  1. 观察到决策树使用诸如 xi≤cx_i \le c 的条件来划分数据。
  2. 注意到单调缩放特征(例如乘以常数)保留了值的顺序。
  3. 得出阈值和分裂点相应调整,就信息增益或不纯度降低而言,树结构在本质上保持不变的结论。

例子

演讲者解释说,对于决策树,“如果你保持值高或保持值小,它不会有太大影响”,因为树是根据特征划分的。

容易误解的地方

  • 假设所有 ML 模型都需要缩放,包括基于树的模型。
  • 认为缩放提高了树模型的性能,而它通常对分裂逻辑没有影响。

观看对应讲解

相关概念

继续追问

相关问题

理解原因

↗
认识概念

↗

答案依据视频资料生成并经过独立核验。若有疑问,请核对原视频或联系原作者。