跳到内容

顺着知识,继续探索

梯度下降

梯度下降沿梯度反方向迭代,收敛依赖步长及函数光滑性等条件。

xk+1=xk−αk∇f(xk)x_{k+1}=x_k-\alpha_k\nabla f(x_k)

探索概念图谱 · 探索关联视频

从不同角度理解

  • 3分钟线性回归

    3-Minute Data Science · 英语 · 讲解
    关联依据

    已审核中文素材 v1:card「利用梯度下降法搜索系数」出现在 2:24——该片段将梯度下降可视化为一种最小化损失的方法:一个3D 碗状曲面表示损失关于参数的变化情况,一条红色路径则向最低点下降;与此同时,2D 拟合直线及显示的m,bm,b值同步更新,从而将参数空间中的下降过程与回归直线的变化联系起来。

继续探索邻近知识点

  • 对偶理论与影子价格

    每个线性规划都有对偶;紧约束的对偶值就是放宽一个单位带来的边际价值。

  • 梯度

    欧氏坐标中偏导数组成描述方向变化的梯度向量。

  • 整数规划

    要求部分变量取整数或 0/10/1,用来表达是否选择、计数与排序决策。

  • 牛顿优化法

    牛顿优化法利用梯度和黑塞矩阵构造局部二次步,常需全局化保护。

  • 最优化

    导数帮助寻找极值候选点,还须检查端点、定义域限制以及局部极值与全局极值的区别。

返回全部概念索引 →

知识联系

所在学习地图

学习地图

优化与运筹学

围绕目标与凸性、算法与约束、离散决策与多目标理解概念与联系。先建立知识结构,视频讲解按审核情况逐步补充。

范围参考