梯度下降详解

1. 公式
   观察依据

   主讲人在屏幕右侧用粉色字体写下“成本函数”四个字。

Cost Function

一种用于衡量我们的预测值与实际值之间偏差程度的函数。

机器学习模型训练

1. 图示
   观察依据

   右上角全程可见粉红色手写标题“代价函数”。

COST FUNCTION

绘制在黑板右侧的代价函数图像的文字标签。

概念性标签；未显示具体公式。

1. 声音
   观察依据

   说话人说：“我们每次迈出的步长……这被称为学习率。”

2. 图示
   观察依据

   在代价函数图像上，沿U形曲线下坡方向标出若干离散点，用以示意步长大小。

learning rate

在代价函数曲线上向下移动时每一步的大小。

梯度下降中的优化参数；未给出具体数值或公式。

1. 声音
   观察依据

   说话人说：“它的位置，我们按邮政编码来表示，27513。”

2. 图示
   观察依据

   他在神经网络图上方的蓝色方框内写下“27513”。

27513

表示房屋位置的输入特征，以邮政编码形式给出。

房价预测示例中的输入特征。

1. 声音
   观察依据

   说话人说：“面积有多大？3，000平方英尺，将该值输入我们的神经网络。”

2. 图示
   观察依据

   他写下“3，000”在同一个蓝色方框内“27513”的下方。

3,000

表示房屋面积（单位为平方英尺）的示例输入特征。

房屋价格预测示例中的输入特征。

1. 声音
   观察依据

   说话人说：“它显示我们认为该房屋以$300,000售出。”

2. 图示
   观察依据

   他在网络输出箭头右侧的第二个蓝色方框中写下“$300K”。

$300K

模型对示例房屋销售价格的预测结果。

示例中神经网络的输出。

1. 声音
   观察依据

   说话人说：“然后我们将该预测值与实际销售价格的预测值进行比较，实际销售价格为$450,000。”

2. 图示
   观察依据

   他在预测价格方框旁写下“$450K”。

$450K

用作模型预测结果比较基准的实际销售价格。

示例中的真实标签。

1. 声音
   观察依据

   说话人说：“因此，首先我们有一种称为批量梯度下降的梯度下降法。”

2. 图示
   观察依据

   他在一个紫色的3行3列网格的左侧单元格内写下“BATCH”。

BATCH

表格中介绍的第一种梯度下降变体的名称。

算法类别标签；本片段中未完成其定义。

1. 图示
   观察依据

   单词 BATCH 以紫色书写在 $3\times 3$ 网格第一列的上方。

BATCH

批量梯度下降法。

优化方法。

1. 图示
   观察依据

   单词 STO 以紫色书写在 $3\times 3$ 网格第二列的上方。

STO

随机梯度下降法。

优化方法。

1. 图示
   观察依据

   单词 MINI 以紫色书写在 $3\times 3$ 网格第三列的上方。

MINI

小批量梯度下降法。

优化方法。

1. 图示
   观察依据

   单词 COMP EFF 以白色书写在 $3\times 3$ 网格第一行的左侧。

COMP EFF

计算效率指标。

评估指标。

1. 声音
   观察依据

   梯度下降就像在漆黑的山中摸索下山：你看不见前方的路，只能靠触感探路；你朝着感觉最陡峭的下坡方向迈出小步；只要持续这样做，最终就能抵达山脚。

2. 动画
   观察依据

   一个火柴人沿着一条锯齿状的紫色线条（代表山坡）向下行走，直至到达平坦的底部并举起双臂。

通过‘在漆黑山中沿最陡下坡方向迈小步直至抵达山脚’这一类比，引出梯度下降的概念。

1. 声音
   观察依据

   因此，梯度下降是一种常用的优化算法，用于训练机器学习模型和神经网络；这些模型通过对数据的学习不断改进自身，而随着学习过程的持续，其预测准确率也会逐步提升。

梯度下降被定义为一种常用的优化算法，它通过在数据上进行训练，使机器学习模型和神经网络在学习过程中不断提升准确率，从而完成训练。

1. 用于训练机器学习模型和神经网络

1. 梯度下降类比

1. 声音
   观察依据

   现在你看到，神经网络由相互连接的神经元组成……这些神经元分层排列，各层包含权重与偏置，它们共同决定了我们如何在该网络中进行信息传递与计算。

2. 动画
   观察依据

   主讲人画出多个白色圆圈代表神经元，并用线条将它们连接起来，构成一个网络结构。

神经网络由相互连接的神经元组成，这些神经元按层组织，每层具有权重和偏置，用于描述数据在网络中如何传递。

1. 梯度下降的定义

1. 声音
   观察依据

   我们向神经网络提供带标签的训练数据，以确定这些权重和偏置应设为何值……我可以输入一个图形，比如说这个，然后让神经网络学习：把这个涂鸦作为输入，对应输出数字三……如果它对其中一些涂鸦判断错误，就可以调整此处的权重和偏置，再重新尝试。

2. 动画
   观察依据

   主讲人画出一条紫色涂鸦线，一条箭头指向该网络，并标上数字‘3’。他用另一条涂鸦线和数字‘6’重复这一过程。

神经网络通过带标签的数据进行训练，其中输入（例如手绘图形）与期望输出（例如数字）成对出现。网络根据预测误差调整其权重和偏置，以提高准确率。

1. 需要带标签的训练数据，将输入与期望输出配对

1. 神经网络的结构

1. 声音
   观察依据

   梯度下降法用于寻找一种称为成本函数的函数的最小值……它是一个反映我们的预测值与真实值之间偏差程度的函数。因此，我们的目标就是最小化这个成本函数，从而获得最优预测。

2. 公式
   观察依据

   主讲人在屏幕上用粉色文字写下“Cost Function”。

成本函数用于衡量模型预测值与真实值之间的偏差程度。梯度下降法被用来寻找该函数的最小值，以实现最优预测。

1. 应用梯度下降法来最小化该函数

1. 使用带标签数据训练神经网络

1. 声音
   观察依据

   “朝着使成本函数下降最多的那个方向迈出小步。”

2. 图示
   观察依据

   在标题为“成本函数”的坐标轴下方绘制了一条U形曲线，说话人标出了起始点及向下的移动路径。

该视频将梯度下降呈现为一种迭代优化方法：从成本函数上的当前点出发，朝着使成本下降最多的方向迈出小步。图示通过在U形曲线上展示一条下坡路径，使这一概念更加具体。

1. 存在一个需要最小化的成本函数。

2. 更新以小步方式进行。

3. 每一步都选择为使成本函数减小。

1. 声音
   观察依据

   “我们所迈出的步子的大小……这被称为学习率。”

2. 图示
   观察依据

   在成本函数曲线的下降段上添加了若干离散点，以表示连续的各次迭代步骤。

学习率在语言上被定义为：在损失函数曲面上‘下山’时所迈出的每一步的大小。在视觉呈现上，主讲人沿着曲线标出多个位置，以说明梯度下降是通过一系列有限步长逐步进行的，而非一次跳跃完成。

1. 适用于基于梯度下降的迭代优化过程。

2. 指连续两次参数更新之间步长的大小。

1. 梯度下降沿着使成本函数下降最多的那个方向移动。

1. 声音
   观察依据

   “我们来考虑一个神经网络——它不处理手写字符，而是预测一栋房子的售价。”

2. 声音
   观察依据

   “因此，我们首先在带标签的数据集上训练该网络……例如房子的位置、房子的面积，以及它最终的成交价格。”

主讲人从抽象的损失函数图像切换到监督学习的具体示例：神经网络在包含输入特征（如位置、面积）及对应目标标签（即成交价格）的带标签数据上进行训练。这为后续预测值与实际结果的对比做了铺垫。

1. 该任务属于回归式预测，即预测房屋的成交价格。

2. 训练过程使用带有输入特征和目标价格的带标签数据。

1. 图示
   观察依据

   输入“27513”和“3,000”被写在一个蓝色方框中，并送入网络图。

2. 图示
   观察依据

   输出“$300K" 且 "$450K”被写在网络图旁。

3. 声音
   观察依据

   我们有一个很大的成本函数。现在需要调整权重和偏置，然后模型可以再次尝试。

在给出的例题中，网络预测结果为$300K for a house whose actual sale price is $450K。讲解者将这一不匹配视为一次糟糕的猜测，导致成本函数值很大，并指出必须先调整权重和偏置，模型才能再次尝试。这直接将预测误差与训练中的参数更新联系起来。

1. 将模型的预测结果与实际标注的真实结果进行比较。

2. 该差异被解释为成本。

3. 训练参数包括权重和偏置。

1. 神经网络训练示例：根据带标签的特征预测房屋售价
2. 梯度下降沿着使成本函数下降最多的那个方向移动。

1. 声音
   观察依据

   现在有三种梯度下降学习算法，我们来了解一下其中一些。

2. 图示
   观察依据

   画出一个紫色的3行3列的网格，第一个单元格标为“BATCH”。

1. 视频片段结束前仅提到了第一种类型“BATCH”；其余两种类型在此片段中未出现。

讲解者宣布将梯度下降学习算法分为三类，并开始填写一个3行3列的表格。第一个填入的条目是“BATCH”。由于本片段在此处结束，其余条目未被填写，因此此处仅确立了三分类体系的存在以及第一类的名称。

1. 该分类针对的是梯度下降学习算法。

2. 只有第一类在给定区间内被识别出来。

1. 梯度下降沿着使成本函数下降最多的那个方向移动。

1. 声音
   观察依据

   该方法对训练集中的每个样本点分别计算其对应项，待全部训练样本均被评估完毕后，才更新模型，因此称为“批处理（batch）”。

2. 图示
   观察依据

   主讲人在“COMP EFF”行的“BATCH”列中写下“HIGH”，在“PROC TIME”行的“BATCH”列中写下“LONG”。

批量梯度下降在更新模型前，先遍历整个训练集以计算各项之和。它计算效率高，但由于需将大规模数据集完整载入内存进行存储与处理，可能导致处理时间较长。

1. 在更新模型前，先评估全部训练样本。

2. 需要将整个数据集存储在内存中。

1. 声音
   观察依据

   另一种选择是随机梯度下降，它每次只评估一个训练样本，而不是以批量方式评估。

2. 图示
   观察依据

   主讲人在‘存储效率’（COMP EFF）一栏的‘STO’列中填写‘LOW’，在‘处理时间’（PROC TIME）一栏的‘STO’列中填写‘FAST’。

随机梯度下降每次只评估一个训练样本。它在处理时间上较快，因为只需在内存中保存一个样本，但其计算效率较低。

1. 每次只评估一个训练样本。

2. 仅需在内存中保存一个样本。

1. 声音
   观察依据

   朝着使成本函数减小最多的方向迈出小步。

梯度下降法通过朝着使成本函数减小最多的方向迈出小步来推进。

1. 正在考虑一个带有成本函数的优化问题。

2. 更新以迭代方式进行。

对于所描述的优化过程，每一步都选择在使成本函数减小的方向上进行。

1. 声音
   观察依据

   我们迈出的步长……这被称为学习率。

梯度下降过程中所采取的步长大小被称为学习率。

1. 梯度下降正以一系列离散步骤的形式执行。

在所解释的梯度下降过程中具有普适性。

1. 声音
   观察依据

   “不是一个好的猜测。我们的代价函数值很大。现在需要调整权重和偏置，然后模型可以再次尝试。”

当模型预测值与实际销售价格存在显著差异时，由此产生的较大代价表明：在再次尝试之前，需要调整权重和偏置。

1. 有一个带标签的样例可供比较。

2. 模型输出与实际目标值存在显著差异。

此说法针对示例情形，并作为对较大代价的一般性训练响应而提出。

1. 声音
   观察依据

   “现在有三种梯度下降学习算法，我们来了解一下其中一些。”

2. 图示
   观察依据

   绘制了一个3行3列的网格，第一个单元格标注为“BATCH”。

1. 另外两种类型的名称在此片段中不可见或不可听清。

共有三种梯度下降学习算法，其中首先介绍的是批量（batch）法。

1. 本讨论围绕梯度下降学习算法展开。

存在性／分类性断言，涉及算法变体；本片段中仅命名了一种变体。

1. 声音
   观察依据

   但如果这里没有这个凸形瓶状结构，而是像这样的形状，它被称为鞍点，可能会误导梯度下降法，使其误以为已到达底部。

2. 图示
   观察依据

   主讲人画出一条具有鞍点的非凸曲线，并在其上放置一个小球。

在非凸问题中，鞍点可能误导梯度下降法，使其误以为已抵达底部（即最小值点），而实际上并未到达。

1. 该代价函数是非凸的。

2. 梯度下降法依赖于代价函数的斜率接近零来停止学习。

存在性

1. 声音
   观察依据

   讲话者指出，在更深的神经网络中，梯度下降可能遭遇梯度消失或梯度爆炸问题。

1. 该片段未提供任何证明、示例计算，也未给出超出口头陈述的正式条件。

在更深的神经网络中，梯度下降可能遭遇梯度消失或梯度爆炸问题。

1. 网络更深。

2. 正在使用梯度下降进行训练。

存在性表述：可能遭遇。

1. 声音
   观察依据

   讲话者称，梯度下降是一种强大的优化算法，目前被广泛用于训练机器学习模型与神经网络。

1. 这是一个宽泛的实践性主张，仅以口头方式陈述，片段中未提供引用或定量支持。

尽管存在这些挑战，梯度下降仍是一种强大的优化算法，如今被广泛用于训练机器学习模型和神经网络。

关于当前应用的一般性实用断言。

1. 图示
   观察依据

   主讲人绘制了坐标轴，并在标题“成本函数”下方画出一条U形曲线。

2. 图示
   观察依据

   他在曲线左侧较高位置标出一个起始点，随后朝向最低点依次标出若干更低的点。

3. 声音
   观察依据

   如果我们从图像角度思考，就从这里出发，持续向下行进，在此过程中不断降低我们的成本函数。

1. 公式

   $$$$
   解释

   绘制一条具有U形成本函数的图像，并在左侧下降支上选取一个初始点。

   步骤依据

   这是板书上明确画出的可视化设定。

   视频直接表达
2. 公式

   $$$$
   解释

   从初始点出发，沿曲线依次移向更低的点。

   步骤依据

   主讲人描述了持续向下行进、同时降低成本函数的过程。

   视频直接表达
3. 公式

   $$$$
   解释

   将连续各点之间的间距解释为步长，即学习率。

   步骤依据

   旁白在标出各点后立即定义步长大小为学习率。

   视频直接表达

该图像将梯度下降阐释为在成本函数曲线上反复向下行进的过程，并将步长标识为学习率。

1. 图示
   观察依据

   输入“27513”和“3,000”被写出并连接至神经网络示意图。

2. 图示
   观察依据

   网络输出区域标注为“$300K" 且 then "$450K”。

3. 声音
   观察依据

   “那么，这栋房子卖了多少钱呢？现在，我们的神经网络将做出预测。它认为这栋房子卖了$300,000。”

4. 声音
   观察依据

   “接着，我们将该预测与实际成交价$450,000进行比较。这不是一个好猜测。此时损失函数值很大。我们需要调整权重和偏置，然后模型可以再次尝试。”

1. 公式

   $$$$
   解释

   取一个带标签的房子样例，其位置为27513、面积为3,000平方英尺，作为神经网络的输入。

   步骤依据

   这些数值在讲解中被口头说出，并作为示例输入对写在黑板上。

   视频直接表达
2. 公式

   $$$$
   解释

   运行网络，得到$300K的预测结果。

   步骤依据

   主讲人陈述模型预测结果，并在网络输出旁写下“$300K”。

   视频直接表达
3. 公式

   $$$$
   解释

   将预测结果与实际成交价$450K进行比较。

   步骤依据

   主讲人明确将预测结果与实际结果进行对比，并写下“$450K”。

   视频直接表达
4. 公式

   $$$$
   解释

   将该预测偏差视为一个很大的损失函数值。

   步骤依据

   旁白在对比之后立即说道：“我们有一个很大的成本函数。”

   视频直接表达
5. 公式

   $$$$
   解释

   得出结论：必须调整权重和偏置，模型应再次尝试。

   步骤依据

   说话人直接将此陈述为下一步的训练动作。

   视频直接表达

该示例展示了一个完整的直观训练循环：输入特征生成预测，预测误差导致成本很大，而较大的成本促使调整权重和偏置。

1. 声音
   观察依据

   梯度下降法自身确实存在一些挑战。例如，在非凸问题中，它可能难以找到全局最小值。

2. 图示
   观察依据

   主讲人先指向凸曲线，再画出一条具有鞍点的非凸曲线。

1. 公式

   $$$$
   解释

   当代价函数的斜率接近零或等于零时，梯度下降法便停止学习。

   步骤依据

   关于停止条件的语音讲解。

   视频直接表达
2. 公式

   $$$$
   解释

   在凸优化问题中，该条件能可靠地找到全局最小值。

   步骤依据

   通过凸曲线与小球进行直观演示。

   视频直接表达
3. 公式

   $$$$
   解释

   在非凸优化问题中，鞍点的斜率也为零，这可能误导算法。

   步骤依据

   通过绘制鞍点进行直观演示，并配以语音讲解。

   视频直接表达

由于鞍点等特征，梯度下降法在非凸优化问题中可能难以找到全局最小值。

1. 声音
   观察依据

   主讲人首先描述了一种鞍形结构，其中路径持续向下延伸；随后以“另一个挑战”为过渡，转向深层网络中的梯度消失与梯度爆炸问题。

2. 图示
   观察依据

   右侧的损失函数图像在讨论转向网络深度相关问题之前，为鞍形讨论提供了直观的视觉锚点。

1. 公式

   $$$$
   解释

   该片段开篇即把损失函数上的鞍形结构刻画为一种并非真正终止最小值的点，因为路径会继续向下延伸。

   步骤依据

   这一说法直接出自音频，并由所绘制的损失函数图像予以佐证。

   视频直接表达
2. 公式

   $$$$
   解释

   接着，它引出了深层神经网络学习中特有的另一项挑战：梯度下降可能遭遇梯度消失或梯度爆炸。

   步骤依据

   从一个优化难点转向另一个优化难点的明确口头过渡。

   视频直接表达
3. 公式

   $$$$
   解释

   梯度消失被解释为梯度过小，导致前层网络的学习速度比后层慢；梯度爆炸则被解释为梯度过大，引发训练过程的不稳定性。

   步骤依据

   这些定义均由主讲人直接给出。

   视频直接表达

该段落将鞍点行为与梯度消失／梯度爆炸呈现为梯度下降在实际应用中（尤其是在深层网络中）接连出现的两个直观障碍。

1. 声音
   观察依据

   在列举挑战之后，演讲者说道：“但请看，尽管存在这些挑战，梯度下降仍是一种强大的优化算法……”，并以登山隐喻作结。

1. 公式

   $$$$
   解释

   演讲者承认此前提到的挑战，而非否认它们。

   步骤依据

   短语“尽管存在这些挑战”明确指向前文讨论的内容。

   视频直接表达
2. 公式

   $$$$
   解释

   随后他指出，梯度下降依然强大，并被广泛用于训练机器学习模型和神经网络。

   步骤依据

   音频中的直接总结性陈述。

   视频直接表达
3. 公式

   $$$$
   解释

   结尾隐喻将梯度下降描绘成一种巧妙的方式，能安全地重新下山。

   步骤依据

   视频片段中的最终口头总结。

   视频直接表达

该片段的最终要点是：尽管梯度下降存在已知的失效情形，它仍是一种实用且被广泛应用的优化方法。

1. 声音
   观察依据

   我可以输入一个形状，比如说像这样，然后我们可利用神经网络将这个涂鸦学习为输入，并以数字三作为输出；在训练完神经网络后，我们可以向它提供更多带标签的数据，例如这个涂鸦，再观察它是否也能正确地将该涂鸦识别为数字六。

2. 动画
   观察依据

   主讲人画了一条类似‘3’的涂鸦线，将其指向网络，并在输出处写下‘3’；接着他又画了另一条类似‘6’的涂鸦线，并在输出处写下‘6’。

神经网络如何学习识别手写数字？

1. 输入：一条手绘的涂鸦线

2. 期望输出：某个特定数字（例如3或6）

演示使用带标签数据训练神经网络的过程。

1. 公式

   $$$$
   解释

   向网络提供一条手绘涂鸦，并将其标注为数字3。

   步骤依据

   这组数据作为初始训练数据，用于调整权重和偏置。

   视频直接表达
2. 公式

   $$$$
   解释

   向网络提供另一条涂鸦，并检验它是否能将其识别为数字6。

   步骤依据

   这用于检验网络从训练数据中泛化的能力。

   视频直接表达

该网络通过根据带标签的样例调整其内部参数，学习将特定的视觉输入映射为数值输出。

主讲人通过绘制图形并写下对应数字，直观地演示了输入到输出的映射过程。

1. 声音
   观察依据

   “让我们考虑一个神经网络——它不处理那些歪歪扭扭的图形，而是预测一栋房子的售价。”

2. 图示
   观察依据

   在神经网络示意图周围添加了蓝色方框，分别标有“27513”、“3,000”和“$300K", 且 "$450K”。

3. 声音
   观察依据

   “这不是一个好猜测。我们有一个很大的成本函数。现在需要调整权重和偏置，然后模型可以再次尝试。”

使用在标注过的房屋数据上训练好的神经网络来预测一栋房子的售价，再将该预测结果与实际售价进行比较。

1. 输入特征：用邮政编码27513表示的位置。

2. 输入特征：面积3,000平方英尺。

3. 模型预测：300K。

4. 实际销售价格：450K元。

展示预测误差如何对应较大的成本函数，并推动权重和偏置的调整。

1. 公式

   $$$$
   解释

   在包含房屋特征与销售价格的标注数据上进行训练。

   步骤依据

   以口头陈述方式，作为具体示例前的铺垫。

   视频直接表达
2. 公式

   $$$$
   解释

   将示例输入27513以及3、000馈入网络。

   步骤依据

   写在黑板上，并作为示例输入进行口述。

   视频直接表达
3. 公式

   $$$$
   解释

   获得网络预测值300K元。

   步骤依据

   在网络输出旁口头说明并书写。

   视频直接表达
4. 公式

   $$$$
   解释

   与实际价格450K元进行比较。

   步骤依据

   口头说明并写在黑板上。

   视频直接表达
5. 公式

   $$$$
   解释

   将该差异解释为较大的成本，并在重试前调整权重和偏置。

   步骤依据

   由主讲人直接陈述。

   视频直接表达

示例预测结果为$300K versus an actual sale price of $450K，导致成本很高，表明权重和偏置需要调整。

本片段中的验证是定性的：说话者将结果标注为“不是个好猜测”，并将其与较高的成本函数关联，而非计算具体的数值损失公式。

1. 动画
   观察依据

   一个火柴人沿着一条锯齿状的紫色线条（代表山坡）向下行走，直至抵达平坦的底部并举起双臂。

1. 火柴人

2. 紫色锯齿线（山坡）

1. 火柴人沿坡道向下移动。

2. 火柴人停在平坦的底部并举起双臂。

1. 紫色线条保持静止，作为路径。

通过展示朝向最低点（山底）的迭代步骤，直观呈现梯度下降的概念。

1. 动画
   观察依据

   主讲人先画出白色圆圈及连接线构成网络，再添加紫色波浪线和数字作为输入与输出。

1. 白色圆圈（神经元）

2. 连接线

3. 紫色波浪线（输入）

4. 数字3和6（输出）

1. 圆圈按顺序绘制并依次连接。

2. 添加输入和输出，以示意数据的流向。

1. 绘制完成后，网络的基本结构保持不变。

展示了神经网络的架构，以及将带标签的训练数据输入其中的过程。

1. 图示
   观察依据

   坐标轴绘制在右侧，位于粉色标题“COST FUNCTION”下方。

2. 图示
   观察依据

   先画出一条U形曲线，随后在左侧下降分支上标出一个起始点及若干个更低的点。

1. 坐标轴

2. U形成本曲线

3. 起始点

4. 沿曲线依次下降的各点

5. 标题“COST FUNCTION”

1. 曲线是在坐标轴之后绘制的。

2. 起始点标记在左侧较高位置。

3. 额外的点沿下降分支更低的位置放置，以显示向最小值移动的过程。

1. 标题仍为“成本函数”。

2. 该曲线在整个区间内保持U形。

该图示将梯度下降可视化为在成本函数上迭代式下山运动，点之间的间距表示步长。

1. 图示
   观察依据

   在神经网络上方绘制一个蓝色方框，并填入“27513”和“3,000”。

2. 声音
   观察依据

   主讲人将这些分别称为邮政编码表示的位置和以平方英尺为单位的面积。

1. 蓝色矩形框

2. 文字“27513”

3. 文字“3,000”

4. 指向神经网络示意图的箭头

1. 该方框被绘制出来。

2. 邮政编码写在最前面。

3. 尺寸数值写在其下方。

4. 一个箭头将该方框连接至网络的输入端。

1. 已有的神经网络示意图仍保留在下方可见。

该方框代表用于回归示例的、输入神经网络的带标签特征。

1. 图示
   观察依据

   在网络输出箭头右侧，写有一个标有“$300K”的蓝色方框。

2. 图示
   观察依据

   “$450K”紧邻其旁，表示实际成交价格。

1. 标有“$300K”的蓝色方框

2. 文字“$450K”

3. 网络输出箭头

1. 先添加预测值方框。

2. 实际值文本添加在旁边用于对比。

1. 网络图与输入框保持不变。

并排显示的数值直观呈现预测误差：模型预测值与真实标签之间的差异。

1. 图示
   观察依据

   在黑板下半中部绘制一个紫色的$3\times 3$网格。

2. 图示
   观察依据

   在左上角单元格中写入单词“BATCH”。

1. 本片段中其余八个单元格保持空白。

1. 紫色$3\times 3$网格

2. 标注“BATCH”

1. 先绘制竖直线。

2. 再绘制水平线以完成网格。

3. 第一个单元格标注为“BATCH”。

1. 视频片段结束前，未出现其他单元格标签。

网格图构建了三种梯度下降类型的分类，但在可用时长内仅命名了第一种类型。

1. 动画
   观察依据

   主讲人依次填写一个$3\times 3$表格，从计算效率和处理时间两个指标出发，对比BATCH、STO与MINI三种方法。

1. $3\times 3$表格

2. 标记符

1. 单元格中填入“高”“低”“长”“快”及对勾符号。

1. 表格结构保持不变。

直观总结了各类梯度下降变体之间的权衡关系。

1. 动画
   观察依据

   主讲人紧邻原始的凸成本函数曲线，画出一条新的非凸成本函数曲线，并将一个小球置于鞍点处。

1. 非凸曲线

2. 小球

1. 新曲线被画出。

2. 小球被放置在平坦的中间段上。

1. 原始的凸曲线仍清晰可见。

说明鞍点可能使梯度下降过早停止。

1. 图示
   观察依据

   黑板右侧可见一张标注为“损失函数”的图像，其曲线上标有一个点，对应于讲话中关于鞍形结构的讨论。

2. 声音
   观察依据

   演讲者称路径会持续向下延伸，并因该形状形似马鞍而称其为鞍形。

1. 视频片段中坐标轴标签无法辨认，因此无法确定坐标轴上所代表的变量。

1. 成本函数 标签

2. 坐标系风格图像上的一条曲线

3. 曲线上标记的一个点

4. 进一步下降前看似水平的区域

1. 说话人一边讲解路径将继续向下延伸，一边朝图像做出手势

2. 视觉重点从标记的点转向进一步下降的概念

1. 该图像在整个时间段内始终保留在黑板右侧

2. 成本函数 标签持续可见

该绘图定性地呈现了一个优化曲面：其中某个看似静止的点并非最终最小值，这与鞍形结构的口头定义相吻合

1. 图示
   观察依据

   黑板上还包含一个紫色对比表格，表头为 BATCH、SG、MINI，行标题为 COMPUT、PROC TIME；此外左侧还有一个手绘的类网络示意图，并标有手写数字

2. 动画
   观察依据

   主讲人位于画面中央，一边讲解一边在表格、左侧示意图和右侧成本函数图像之间做出手势

1. 左侧的数字和网络示意图在本片段中未作解释，因此其作用尚不明确。

2. 表格在本片段中可见，但音频未对此进行讲解。

1. 紫色对比表格

2. 左侧类似网络的示意图

3. 手写的数字27513、3、000、52216、4430K、3、6、0、6

4. 主讲人用手势辅助表达

1. 主讲人在讲话时双手移动，但板书内容本身在本片段中基本保持不变。

1. 表格与左侧示意图在整个教学环节中始终可见。

2. 本片段中未新增任何书写内容。

这些视觉元素提供了更广泛的课程背景，但本片段实际传递的数学内容主要来自口头定义以及右侧的成本函数示意图。

1. 动画
   观察依据

   大约在50秒时，教学板书消失，屏幕切换为纯蓝色背景，左下角显示IBM标志。

2. 声音
   观察依据

   主讲人转为结束语，邀请观众在下方留言、点赞并订阅。

1. 纯蓝色背景

2. IBM 标志

3. 结束引导行动的音频

1. 教育白板场景被静态品牌画面取代。

2. 讲话内容从技术性讲解转变为频道结束语。

1. 蓝色背景与 IBM 标志持续显示至视频片段结束。

该时段不包含额外数学内容；其作用是视频结尾的品牌展示与行动引导。

1. 声音
   观察依据

   在房屋示例之后，主讲人提问：“那么它在整个标注数据集上的表现是变好了，还是变差了？这正是梯度下降能帮我们解决的问题。”

1. 视频中并未明确使用“误解”一词；本条记录的是从单个示例过渡到全数据集评估时所推断出的潜在混淆。

有人可能认为单个房屋示例带来的高额代价完全决定了训练是否有所改进。

主讲人立即把问题拓展至整个标注数据集上的性能，表明梯度下降关注的是整体改进，而非某一次孤立的预测。

1. 声音
   观察依据

   ……它会误导梯度下降算法，使其误以为已到达最低点。

错误地认为零斜率总是意味着全局最小值。

在非凸函数中，零斜率可能出现在鞍点处，而该点并非最小值点。

1. 声音
   观察依据

   主讲人在描述鞍形时说道：“在它真正到达之前，函数值还会继续下降。”

人们可能将损失曲线上的某个看似平坦或静止的点当作最终最小值。

视频片段明确指出路径会持续向下延伸，因此鞍形点并非最终的停止位置。

1. 声音
   观察依据

   梯度消失被定义为梯度过小，而梯度爆炸则被定义为梯度过大并导致模型失稳。

这两个术语可能被误认为是同一种梯度问题。

视频通过梯度大小来区分二者：梯度消失指梯度过小，会延缓浅层的学习；梯度爆炸指梯度过大，可能导致模型不稳定。

1. 声音
   观察依据

   梯度下降是一种常用的优化算法，用于训练机器学习模型和神经网络。

梯度下降是应用于训练神经网络结构的优化算法。

1. 声音
   观察依据

   梯度下降如何在此处帮助我们？实际上，梯度下降用于寻找一种称为成本函数的函数的最小值。

使用带标签数据进行训练的过程，依赖于通过梯度下降来最小化成本函数。

1. 声音
   观察依据

   对“沿坡向下走”的解释之后，紧接着将步长定义为学习率。

学习率概念被呈现为梯度下降过程的一部分：它规定了沿坡向下所迈步子的大小。

1. 声音
   观察依据

   房屋价格设定引出了预测、与实际价格比较、以及权重和偏置的调整。

最小化代价这一抽象思想，被应用于一个具体的监督学习示例——房屋价格预测。

1. 声音
   观察依据

   “这正是梯度下降能帮我们解决的问题。”

在观察到成本很高之后，需要改进标注数据集，梯度下降正是为应对这一情况而提出的。

1. 声音
   观察依据

   “现在有三种梯度下降学习算法……”

2. 图示
   观察依据

   从一个3行3列的网格开始，并在第一个单元格中标注“BATCH”。

1. 本片段中仅命名了一种子类型。

该片段从通用的梯度下降方法过渡到对其变体的分类，首先介绍批量梯度下降。

1. 声音
   观察依据

   这在计算效率与速度之间取得了良好的平衡。

小批量梯度下降在批量梯度下降的高计算效率与长处理时间之间取得平衡。

1. 声音
   观察依据

   这在计算效率与速度之间取得了良好的平衡。

小批量梯度下降在随机梯度下降的低计算效率与快处理时间之间取得平衡。

1. 声音
   观察依据

   关于鞍点的讨论与后续的总结均出现在同一段对梯度下降的解释中。

2. 图示
   观察依据

   在讨论优化行为时使用了〔COST FUNCTION〕图像。

鞍形结构被呈现为一种复杂情形，用以对比凸显梯度下降的整体有效性。

1. 声音
   观察依据

   主讲人首先将梯度消失命名为一种挑战，随后立即给出其定义。

梯度消失是深度网络中梯度下降困难这一宽泛主题下所包含的两种具体挑战之一。

1. 声音
   观察依据

   主讲人将梯度爆炸命名为另一种挑战，随后立即给出其定义。

梯度爆炸是梯度下降问题这一宽泛讨论中所包含的第二种具体挑战。

1. 声音
   观察依据

   定义被连续给出，并明确对比：太小 versus 太大。

这两个概念通过梯度幅值以及它们对学习和稳定性产生的不同影响进行对比。

1. 声音
   观察依据

   因此，梯度下降是一种常用的优化算法，用于训练机器学习模型和神经网络。

1. 梯度下降的定义

1. 声音
   观察依据

   它是一个函数，告诉我们预测值与实际值之间的偏差有多大。

1. 成本函数

1. 声音
   观察依据

   “这被称为学习率。”

1. 学习率是梯度下降中每一步的步长大小

1. 图示
   观察依据

   在U形成本曲线上添加了向下的点。

1. 梯度下降沿着使成本函数下降最多的那个方向移动。
2. 学习率是梯度下降中每一步的步长大小

1. 图示
   观察依据

   黑板上显示27513、3、000、$300K, 且 $450K。

1. 神经网络训练示例：根据带标签的特征预测房屋售价
2. 较大的预测误差意味着较大的成本，从而促使我们调整权重和偏置

1. 声音
   观察依据

   “现在需要调整权重和偏置，然后模型可以再次尝试。”

1. 较大的预测误差意味着较大的成本，从而促使我们调整权重和偏置

1. 声音
   观察依据

   我们有一种称为批量梯度下降的梯度下降法。

2. 图示
   观察依据

   “BATCH”写在网格的第一个单元格中。

1. 另外两种类型在此片段中未出现。

1. 梯度下降有三种类型；“BATCH”是其中最先介绍的一种

1. 声音
   观察依据

   该式对训练集中每个样本点的对应项求和……

1. 批量梯度下降

1. 声音
   观察依据

   另一种选择是随机梯度下降……

1. 随机梯度下降

1. 声音
   观察依据

   现在存在一个折中方案，即所谓的小批量。

1. 小批量梯度下降

1. 声音
   观察依据

   ……这被称为鞍点……

1. 鞍点误导梯度下降法

1. 声音
   观察依据

   该片段直接定义了鞍形，并解释了它为何被称为鞍形。

1. 成本函数中的鞍形