機器學習科普 3分鐘帶你瞭解梯度下降的原理(2021)【Shady小課堂】【科普】

1. 公式
   观察依据

   画面左侧出现公式 $\nabla J = \begin{bmatrix} \partial J(\theta_1)/\partial(\theta_1) \\ \partial J(\theta_2)/\partial(\theta_2) \\ \dots \\ \partial J(\theta_n)/\partial(\theta_n) \end{bmatrix}$

$\nabla J$

损失函数 $J$ 关于各个参数的梯度向量

参数空间

1. 公式
   观察依据

   公式中出现 $J(\theta_i)$，结合音频可知代表损失函数

J

损失函数

实数集

1. 公式
   观察依据

   公式中出现 $\theta_1, \theta_2, \dots, \theta_n$

$\theta_i$

模型的第 $i$ 个参数（权重）

实数集

1. 公式
   观察依据

   画面左侧显示公式 $\nabla J = \begin{bmatrix} \partial J(\theta_1)/\partial(\theta_1) \\ \partial J(\theta_2)/\partial(\theta_2) \\ \dots \\ \partial J(\theta_n)/\partial(\theta_n) \end{bmatrix}$

$\nabla J$

损失函数 $J$ 的梯度向量

参数空间

1. 公式
   观察依据

   公式中出现 $J(\theta_i)$，音频中提到“损失函数的值越小越好”

J

损失函数

参数空间到实数集

1. 公式
   观察依据

   公式中出现 $\theta_1, \theta_2, \dots, \theta_n$ 以及 $\theta_j$

$\theta_j$

模型的第 $j$ 个参数（权重）

实数集

1. 公式
   观察依据

   更新公式中出现 $\alpha$，音频中提到“这个装逼点叫学习率”

$\alpha$

学习率，控制每次参数更新的步长

正实数集

1. 公式
   观察依据

   公式中显示为 $θ_j$

$\theta_j$

参数向量中的第 j 个参数

实数

1. 公式
   观察依据

   公式中显示为 $J(\theta_j)$

J

代价函数（Cost Function）

实数

1. 公式
   观察依据

   公式中显示为 $\alpha$

$\alpha$

学习率（Learning Rate）

正实数

1. 声音
   观察依据

   旁白提到“找到一组参数能让损失函数的值最小”

2. 图示
   观察依据

   画面出现流程图，包含“模型误差 = 某个度量函数(模型(各种特征), 真正的结果)”、“损失函数”、“模型 = 权重1*特征1 + 权重2*特征2 + ......”等节点

在机器学习中，模型的参数（如权重）无法直接通过套公式一次性算出，需要通过迭代来找到一组参数，使得损失函数的值最小。损失函数用于衡量模型预测结果与真实结果之间的误差。

1. 模型参数无法直接求出

2. 需要最小化损失函数

1. 声音
   观察依据

   旁白解释“所谓梯度，其实就是把权重对于损失函数的偏导排成一个向量而已”

2. 公式
   观察依据

   画面展示梯度向量公式 $\nabla J = \begin{bmatrix} \partial J(\theta_1)/\partial(\theta_1) \\ \partial J(\theta_2)/\partial(\theta_2) \\ \dots \\ \partial J(\theta_n)/\partial(\theta_n) \end{bmatrix}$

梯度是一个向量，由损失函数对各个模型参数（权重）的偏导数排列而成。

1. 损失函数对各参数可导

1. 损失函数与模型参数

1. 声音
   观察依据

   “现在我们知道了梯度的方向是函数增长最快的方向”

2. 动画
   观察依据

   黄色箭头从各个因素指向右上角的“王者”图标，表示增长方向

梯度 $\nabla J$ 的方向是函数 $J$ 增长最快的方向。

1. 函数 $J$ 可微

1. 声音
   观察依据

   “那我在梯度前面加个负号，那不就是函数下降最快的方向了吗”

2. 动画
   观察依据

   红色箭头从“死肥宅”指向左下角，与黄色箭头方向相反

负梯度 $-\nabla J$ 的方向是函数 $J$ 下降最快的方向。

1. 函数 $J$ 可微

1. 梯度方向

1. 声音
   观察依据

   “这个装逼点叫学习率，实际上就是代表我下山的时候步子迈多大”

2. 公式
   观察依据

   公式 $\theta_j = \theta_j - \alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$ 中的 $\alpha$

学习率 $\alpha$ 决定了每次参数更新时沿着负梯度方向移动的步长大小。

1. α 大于 0

1. 公式
   观察依据

   画面中央红框内显示公式：repeat until convergence; for every $\theta_j$; $\theta_j = \theta_j - \alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$

该公式描述了梯度下降算法的核心迭代步骤。在每次迭代中，对于每一个参数 $\theta_j$，通过减去学习率 $\alpha$ 与代价函数 $J$ 对该参数的偏导数的乘积来更新参数值，直到算法收敛。

1. 重复执行直到收敛 (repeat until convergence)

2. 对每一个参数执行 (for every $\theta_j$)

1. 声音
   观察依据

   旁白强调“关键是梯度的方向是函数值增长最快的方向”

梯度的方向是函数值增长最快的方向。

1. 函数在该点可导

对于可导函数及其梯度向量

1. 声音
   观察依据

   “现在我们知道了梯度的方向是函数增长最快的方向”

梯度的方向是函数增长最快的方向。

1. 函数可微

对于任意可微函数

1. 声音
   观察依据

   “那我在梯度前面加个负号，那不就是函数下降最快的方向了吗”

负梯度的方向是函数下降最快的方向。

1. 函数可微

对于任意可微函数

1. 声音
   观察依据

   “所以，梯度下降它的本质其实就是更新权重的时候是沿着梯度的反方向更新”

梯度下降的本质是在更新权重时沿着梯度的反方向进行更新。

无

1. 声音
   观察依据

   “因为我们是希望损失函数的值越小越好，而不是越大越好”

2. 公式
   观察依据

   画面写出 $\theta_j = \theta_j - \alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$

1. 公式

   $$\theta_j = \theta_j - \alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$$
   解释

   为了最小化损失函数 $J$，需要使 $J$ 的值减小。

   步骤依据

   目标是最小化损失函数

   视频直接表达
2. 公式

   $$-\nabla J$$
   解释

   因为负梯度方向是函数下降最快的方向，所以参数更新应沿着负梯度方向。

   步骤依据

   负梯度方向性质

   视频直接表达
3. 公式

   $$\alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$$
   解释

   引入学习率 $\alpha$ 来控制每次更新的步长。

   步骤依据

   学习率定义

   视频直接表达

得到梯度下降的参数更新公式：$\theta_j = \theta_j - \alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$。

1. 声音
   观察依据

   旁白举例“假如我是个想要成为撸啊撸郊区王者的死肥宅...可能有这么几个因素：一个是英雄池的深浅，一个是大局观，还有一个是骚操作”

2. 图示
   观察依据

   画面出现“死肥宅”图标，随后画出三个分支，分别对应英雄池、大局观和操作，并配有游戏角色图片

如何理解梯度方向是函数值增长最快的方向？

1. 目标：成为游戏郊区王者

2. 影响因素：英雄池、大局观、操作

通过多因素影响目标达成的例子，直观解释梯度的方向性

1. 公式

   $$$$
   解释

   将“成为郊区王者”这一目标视为一个函数值。

   步骤依据

   类比设定

   视频直接表达
2. 公式

   $$$$
   解释

   将影响目标的各个因素（英雄池、大局观、操作）视为自变量（参数）。

   步骤依据

   类比设定

   视频直接表达
3. 公式

   $$$$
   解释

   梯度方向即是在当前状态下，综合调整这些因素能使目标达成概率（函数值）增长最快的方向。

   步骤依据

   结合前文梯度方向的性质进行类比推导

   依据视频推导

梯度方向代表了在多因素共同作用下，使目标函数值增长最快的综合调整方向。

该例子仅为直观类比，未进行严格的数学验证。

1. 声音
   观察依据

   “整个梯度下降的过程，就好比假如我是个瞎子，然后莫名其妙的来到了一个山谷里...觉得哪里感觉起来更像是在下山那我就往哪里走”

2. 动画
   观察依据

   画面显示一个卡通人物在山谷中摸索下山的动画

如何用直观的方式理解梯度下降的过程？

1. 假设一个人是瞎子

2. 身处一个山谷中

3. 目标是走到谷底

找到山谷的最低点

1. 公式

   $$$$
   解释

   瞎子在当前位置用脚感受四周的坡度。

   步骤依据

   对应计算当前点的梯度

   视频直接表达
2. 公式

   $$$$
   解释

   瞎子朝着感觉最像下山的方向迈出一步。

   步骤依据

   对应沿着负梯度方向更新参数

   视频直接表达
3. 公式

   $$$$
   解释

   重复上述过程，直到到达谷底。

   步骤依据

   对应迭代更新直到收敛

   视频直接表达

通过不断感知局部下降方向并迈步，最终能到达谷底，这模拟了梯度下降寻找局部最优解的过程。

动画展示了人物一步步走到谷底的过程。

1. 动画
   观察依据

   一只手在蓝色背景上画出包含“模型误差”、“损失函数”、“模型”等节点的流程图，并用绿色箭头标示它们之间的逻辑关系。

1. 手

2. 流程图节点

3. 绿色箭头

1. 流程图节点和连线被依次画出

2. 绿色箭头指示了从模型到损失函数，再到模型误差的逻辑流向

1. 蓝色背景

2. 左上角Shady小课堂Logo

直观展示了机器学习中模型、参数、损失函数和误差之间的计算与优化关系。

1. 动画
   观察依据

   手画出“死肥宅”图标，并向右上方延伸出三条线，分别连接英雄池、大局观和操作的图片。

1. 死肥宅图标

2. 三条分支线

3. 游戏角色/场景图片

1. 以死肥宅为起点，分支出三个影响因素

1. 蓝色背景

用多因素影响单一目标的树状图，类比梯度是由多个偏导数构成的向量，其方向代表综合增长最快的路径。

1. 动画
   观察依据

   手用铅笔画出多个黄色箭头，然后用虚线将它们首尾相接，最后画出一个指向右上角“王者”图标的总箭头

1. 黄色箭头

2. 虚线

3. 总箭头

4. 王者图标

1. 各个因素的箭头被依次平移并首尾相接

2. 最终形成一个指向目标的合向量

1. 箭头的方向和长度代表偏导数的方向和大小

展示了多个偏导数（向量）相加得到总梯度的过程，总梯度指向函数增长最快的方向。

1. 动画
   观察依据

   手画出一个红色的箭头，方向与之前指向“王者”的黄色总箭头完全相反

1. 红色箭头

2. 黄色总箭头

1. 红色箭头出现，方向与黄色箭头相反

1. 起点相同

直观展示了负梯度方向即为函数下降最快的方向。

1. 动画
   观察依据

   画面下方出现两行小字：“值越小就代表我越苟，步子迈得小，深怕掉坑里”、“值越大就代表我越骚，但是容易扯着蛋”

1. 文字说明

1. 文字解释了学习率过大或过小的后果

用通俗的语言解释了学习率 $\alpha$ 对梯度下降步长的影响：过小导致收敛慢，过大可能导致震荡或发散。

1. 动画
   观察依据

   画面下方显示山脉风景图，有一个卡通人物站在山间，旁边有黄色箭头指向山谷低处

1. 山脉地形

2. 卡通人物

3. 黄色箭头

1. 黄色箭头指示向下坡方向移动

1. 山脉地形保持不变

用下山寻找最低点的过程直观比喻梯度下降算法寻找代价函数最小值的过程。

1. 声音
   观察依据

   旁白澄清“虽然梯度下降不是一个机器学习算法，但很多机器学习算法都会用它来进行训练”

将梯度下降本身当作一种机器学习算法。

梯度下降是一种优化方法，用于训练许多其他的机器学习算法，其核心是通过迭代寻找使损失函数最小的参数。

1. 声音
   观察依据

   “值越大就代表我越骚，但是容易扯着蛋”

认为学习率越大越好，可以更快到达谷底。

学习率过大可能导致步长过长，越过最低点甚至发散（“扯着蛋”），无法收敛。

1. 声音
   观察依据

   “现在我们知道了梯度的方向是函数增长最快的方向，那我在梯度前面加个负号，那不就是函数下降最快的方向了吗”

梯度方向是增长最快方向，负梯度方向是下降最快方向，两者方向相反。

1. 声音
   观察依据

   “所以，梯度下降它的本质其实就是更新权重的时候是沿着梯度的反方向更新”

梯度下降算法应用了负梯度方向是下降最快方向这一性质来更新参数。

1. 声音
   观察依据

   “这个装逼点叫学习率，实际上就是代表我下山的时候步子迈多大”

学习率作为系数应用于梯度下降的更新公式中，控制步长。

1. 声音
   观察依据

   旁白直接给出了梯度的定义

1. 梯度的定义

1. 声音
   观察依据

   旁白解释了因为参数无法直接算出，所以需要迭代找最小损失

1. 损失函数与模型参数

1. 声音
   观察依据

   旁白强调了梯度方向的性质并给出了游戏类比

1. 梯度方向的性质
2. 梯度方向的通俗类比

1. 声音
   观察依据

   “现在我们知道了梯度的方向是函数增长最快的方向”

1. 梯度方向

1. 声音
   观察依据

   “那我在梯度前面加个负号，那不就是函数下降最快的方向了吗”

1. 负梯度方向
2. 梯度下降本质

1. 声音
   观察依据

   “这个装逼点叫学习率，实际上就是代表我下山的时候步子迈多大”

1. 学习率

1. 声音
   观察依据

   “整个梯度下降的过程，就好比假如我是个瞎子...”

1. 瞎子摸谷比喻

1. 公式
   观察依据

   画面展示了完整的梯度下降更新公式

1. 梯度下降算法更新公式