跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「为什么特征未缩放时梯度下降会振荡?」

4 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

理解原因

↗

当特征未缩放时,梯度下降会振荡,因为具有巨大不同范围的特征导致对其相应参数的梯度差异很大。这导致小尺度特征的参数步长很小,而大尺度特征的参数步长很大,从而导致向最小值的路径低效且呈锯齿状。

适用条件:用于带有梯度下降的线性回归优化。;特征具有显著不同的尺度(例如,一个范围从 0 到 1,另一个从 100 到 1000)。

认识概念

↗

最小二乘成本函数衡量预测值(基于模型参数和特征)与实际目标值之间的平均平方差。它通常在线性回归中用于评估模型性能。

适用条件:用于目标是预测连续值的回归问题。;假设特征和目标变量之间存在线性关系。

理解原因

↗

特征缩放很重要,主要是为了在梯度下降等优化算法中实现更快的收敛,并确保基于距离的算法适当地计算距离,而不会让较大尺度的特征占主导地位。

适用条件:适用于梯度下降等迭代优化算法。;适用于 KNN 或 K-means 等基于距离的机器学习算法。

认识概念

↗

梯度下降是一种优化算法,通过沿成本函数对这些参数的梯度的相反方向迭代更新模型参数来最小化成本函数。

适用条件:成本函数 J 必须对参数 θ\theta 可微。;必须适当选择学习率 α\alpha 以确保收敛。