条件数

1. 公式
   观察依据

   幻灯片展示了方程$Ax=b$。

2. 声音
   观察依据

   主讲人说：“假设我们想求解 Ax = b，这在此处就是线性回归。”

A

线性系统中的矩阵$Ax=b$，被主讲人认定为线性回归设定。

视频未明确说明维度或秩的条件。

1. 公式
   观察依据

   幻灯片展示了条件数公式中的$Ax=b$，随后又展示了$\|\delta x\|$。

2. 声音
   观察依据

   主讲人在解释条件数时提到改变$x$。

x

线性系统中的未知向量；对其的扰动记为$\delta x$。

视频未明确说明维度。

1. 公式
   观察依据

   幻灯片展示了方程$Ax=b$。

b

线性系统的右端向量。

视频未明确说明维度。

1. 公式
   观察依据

   幻灯片标题为“病态问题：条件数很大或无穷大”，并显示了$\kappa$和$\kappa(A)$。

2. 声音
   观察依据

   主讲人介绍了“条件数”的概念，用于量化一个问题的求解难度及其定义的模糊程度。

$\kappa$

条件数，用于量化一个问题的求解难度或其定义的模糊程度。

在幻灯片中，针对线性方程组这一背景给出了定义。

1. 公式
   观察依据

   幻灯片展示 $\lim_{\varepsilon \to 0}$ 在 $\kappa$ 的定义中。

2. 声音
   观察依据

   主讲人指出，条件数被定义为当ε趋近于零时的极限。

$\varepsilon$

在上确界定义中，表示一个趋近于零的微小正扰动半径。

出现在极限符号$\varepsilon \to 0$下方及约束条件$\|\delta x\| \le \varepsilon$之下。

1. 公式
   观察依据

   幻灯片展示了$\|\delta x\| \le \varepsilon$和$\frac{\|\delta f\|}{\|\delta x\|}$。

2. 声音
   观察依据

   主讲人描述了考察某个值附近微小环域内变化量之比的过程。

$\delta x$

输入/解变量$x$的扰动。

受显示公式中约束条件$\|\delta x\| \le \varepsilon$的限制。

1. 公式
   观察依据

   幻灯片展示了$\frac{\|\delta f\|}{\|\delta x\|}$。

2. 声音
   观察依据

   主讲人提到“f 的变化量之比”。

1. 幻灯片使用$\delta f$定义了该比值，但本片段中视频并未明确将$f$定义为关于$A$、$x$或$b$的表达式。

$\delta f$

条件数比值中出现的输出量$f$的扰动／变化量。

仅在所展示的比值$\frac{\|\delta f\|}{\|\delta x\|}$内部使用。

1. 公式
   观察依据

   幻灯片展示了$\kappa(A)=\frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$。

1. 本片段中视频未口头定义奇异值。

$\sigma_{\max(A)}$

的最大奇异值$A$ 出现在 $\kappa(A)$ 的公式中。

仅由所展示的公式定义。

1. 公式
   观察依据

   幻灯片展示了$\kappa(A)=\frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$。

1. 本片段中视频未口头定义奇异值。

$\sigma_{\min(A)}$

的最小奇异值$A$ 出现在 $\kappa(A)$ 的分母中。

仅由所展示的公式定义。

1. 公式
   观察依据

   幻灯片展示了方程 Ax = b。

Ax = b

以矩阵 A 和向量 x、b 表示的线性系统。

矩阵 A 是一个线性算子；x 和 b 是定义在相容空间中的向量。

1. 公式
   观察依据

   幻灯片展示了 $κ = \lim _{ε\to 0}$ sup_{||δx||≤ε} ||δf|| / ||δx||。

2. 声音
   观察依据

   讲师指出，条件数用于衡量 x 的微小变化所引起的 f 的变化程度。

κ

该问题的条件数，定义为单位相对输入扰动下，最坏情形的相对输出变化的极限值。

非负标量；对于病态或奇异问题，其值可能为无穷大。

1. 公式
   观察依据

   该公式中，δx 出现在上确界约束条件和分母中。

2. 声音
   观察依据

   讲师所指的 x 的微小变化，可能由噪声引起。

δx

输入变量 x 的扰动。

满足范数 ||δx|| ≤ ε 的向量扰动。

1. 字幕依据
   观察依据

   幻灯片文字：“如果我们是过完备的”以及“线性回归定义良好”。

2. 声音
   观察依据

   主讲人指出，如果我们拥有更多数据，就能张成所有维度，此时线性回归定义良好，既可通过矩阵求逆求解，也可通过梯度下降求解，且二者得到相同解。

在第一张幻灯片中，讲师指出，当数据情形为“过完备”时，线性回归是良定义的。他进一步解释，在这种情况下，case one 既可通过矩阵求逆，也可通过梯度下降来求解，且所得解相同。

1. 数据情形被描述为过完备。

2. 主讲人还指出数据量更充足，且所有维度均被张成。

1. 字幕依据
   观察依据

   幻灯片文字：“如果我们不完备”以及“结果未定义（因而会报错）”。

2. 声音
   观察依据

   主讲人指出，若数据量不足，则答案未定义；具体实现不同，报错行为可能不同，但大多数实现都会报错。

讲师将前述情形与“不完备”情形作对比。在此情形下，他指出答案未定义，因此会报错。他还补充说明，具体行为取决于实现方式，但大多数实现都会报错。

1. 数据情形被描述为不完备。

2. 主讲人还将此表述为数据量不足。

1. 声音
   观察依据

   主讲人说：“我们如何解决该问题，比如均方误差，仍可使其变得很小。只是此时解不再唯一。突然之间，该问题出现了大量解。”

1. 该陈述在第一张幻灯片持续显示时说出；该片段未展示均方误差的单独公式。

在引入条件数之前，讲师指出：即使问题没有唯一解，均方误差仍可被压至很小。关键变化在于唯一性——不再是唯一解，而是存在多个解。

1. 适用于过渡到病态问题之前所讨论的该类问题。

1. 不完备情形使答案未定义

1. 字幕依据
   观察依据

   幻灯片标题：“病态问题：条件数很大或无穷大”

2. 声音
   观察依据

   主讲人表示，存在一种更精确地思考此类问题的方式，并由此引出“条件数”的概念，用以量化一个问题的求解难度及其不确定性程度。

在第二张幻灯片上，讲师将条件数作为精确分析病态问题的方法加以引入，并将其描述为对问题求解难度及不确定性的量化。

1. 在病态问题的语境中被引入。

1. 公式
   观察依据

   幻灯片显示$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$。

2. 声音
   观察依据

   主讲人称，条件数定义为当ε趋近于零时的极限，即在该区域内，函数值变化量之比的最大值；并说明需在一小环形区域内寻找最陡峭的区域。

1. 口述解释采用非正式的几何语言（如‘环状区域’、‘最陡峭区域’），而非逐字复述完整的符号表达式。

幻灯片将条件数定义为：对所有模长至多为 $\varepsilon$，当$\varepsilon$趋近于零时。主讲人用语言解释为：在不断缩小的邻域内寻找该比值的最大值，即变化最陡峭的方向。

1. 沿用同一张幻灯片所引入的线性系统设定。

2. 公式被明确展示；该片段未以口述方式补充额外假设。

1. 条件数用于量化问题的求解难度与不确定性

1. 公式
   观察依据

   幻灯片显示$\kappa(A) = \frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$。

1. 视频片段未在线性系统背景下解释奇异值，也未在该片段内证明这一恒等式。

同一张幻灯片还给出了条件数的一个矩阵特有表达式：$\kappa(A)$等于$A$的最大奇异值除以$A$的最小奇异值。

1. 该结论针对幻灯片中所示线性系统语境下的矩阵$A$而陈述。

1. 条件数的上确界-极限定义

1. 字幕依据
   观察依据

   幻灯片标题为：‘病态问题：条件数很大或为无穷大’。

2. 声音
   观察依据

   主讲人解释道，条件数用于衡量该问题的求解难度。

病态问题是其条件数很大或为无穷大的问题，这意味着极小的输入扰动可能导致输出发生不成比例的巨大变化。

1. 适用于输入扰动 δx 引起输出扰动 δf 的问题。

2. 本页幻灯片通过方程 Ax=b 及其条件数 $κ(A)$ 来具体阐述这一概念。

1. 一般条件数公式
2. 通过奇异值定义的矩阵条件数

1. 公式
   观察依据

   幻灯片显示 $κ = \lim _{ε\to 0}$ sup_{||δx||≤ε} ||δf|| / ||δx||。

2. 声音
   观察依据

   讲师指出，我们关注的是：由噪声等原因引起的 x 的微小变化，会如何导致 f 发生变化。

一般条件数是输入扰动到输出扰动之间，在最坏情况下的极限放大倍数；它衡量的是 f 相对于 x 的微小变化所能产生的相对变化程度。

1. 该定义在输入扰动和输出扰动上均使用范数。

2. 先对所有满足 ||δx|| ≤ ε 的扰动取上确界，再令 $ε\to 0$。

1. 公式
   观察依据

   幻灯片显示 $κ(A) = σ$_max(A) / σ_min(A)。

2. 声音
   观察依据

   讲师说：‘什么是条件数？就是矩阵 A 的最大奇异值除以最小奇异值。’

对于线性系统 Ax = b，矩阵 A 的条件数定义为最大奇异值与最小奇异值的比值。

1. 这是针对线性方程组 Ax = b 的情形所作的表述。

2. 若 σ_min(A) = 0，则所示比值表明条件数为无穷大。

1. 一般条件数公式

1. 声音
   观察依据

   讲师指出，在某些维度上移动会导致非常大的影响，而在另一些维度上影响则非常小。

2. 声音
   观察依据

   他还指出，我们关注的是哪个维度最脆弱、且对结果影响最大。

讲师从几何角度解释条件数：输入空间中的某些方向会强烈放大输出，而另一些方向则几乎不产生影响；条件数刻画了这种放大效应中最严重的情形。

1. 这仅作为直观理解呈现，而非形式化证明。

2. 该理解与 Ax = b 的奇异值公式相关联。

1. 通过奇异值定义的矩阵条件数

1. 字幕依据
   观察依据

   第二张幻灯片指出：‘我们通常拥有的参数数量多于数据量，因此 $κ = \infty$’以及‘我们通常是过参数化的’。

2. 声音
   观察依据

   讲师指出，深度学习很奇特，因为在许多情况下，我们的参数数量多于数据量。

在本视频讨论的深度学习场景中，参数数量多于数据量的情况在幻灯片中被概括为 $κ = \infty$，表明该反问题极度病态。

1. 这是幻灯片对典型深度学习回归场景所给出的描述。

2. 讲者补充指出，数据点通常位于相对低维的结构中。

1. 病态问题
2. 一般条件数公式

1. 字幕依据
   观察依据

   幻灯片文字写道：‘因此，回归结果通常取决于我们如何求解该问题！’以及‘这正是理解深度学习成功的关键所在’。

当问题过参数化且 $κ = \infty$ 时，回归结果并非仅由数据决定；它还依赖于所采用的求解方法。幻灯片将这一点表述为理解深度学习成功的核心。

1. 该说法出现在过参数化深度学习回归的语境中。

2. 该片段未在一般性论断之外指明具体算法。

1. 过参数化的深度学习对应于无穷大的条件数

1. 字幕依据
   观察依据

   幻灯片文字写道：“若我们处于过完备情形” / “线性回归定义良好”。

2. 声音
   观察依据

   主讲人指出：当数据量更多、且能张成所有维度时，线性回归定义良好，可通过矩阵求逆或梯度下降法求解，且二者给出相同解。

如果数据情况是超定的，那么线性回归是良定义的；此外，通过矩阵求逆或梯度下降求解会得到相同的解。

1. 该问题处于幻灯片中所讨论的线性回归设定下。

2. 数据情况是超定的。

3. 说话者进一步指出，此时数据更多，且所有维度都被张成。

关于超定情形的条件陈述。

1. 字幕依据
   观察依据

   幻灯片文字写道：“如果我们处于欠定状态”，“则该问题无定义（因而会抛出错误）”。

2. 声音
   观察依据

   说话者指出，在数据更少的情况下，答案无定义，具体是否会抛出错误取决于实现方式，但大多数实现都会抛出错误。

1. 说话者指出，确切的错误行为取决于具体实现。

如果数据情况是欠定的，那么答案无定义，因此在大多数实现中会抛出错误。

1. 该问题处于相同的线性回归设定下。

2. 数据情况不够完整／数据量不足。

关于数据不够完整情形的条件语句。

1. 声音
   观察依据

   说话人指出，均方误差仍可做到很小，但此时已不再存在唯一解；而是存在大量解。

1. 该说法在视频片段中仅作口头陈述，未展示公式。

即使均方误差仍可做到很小，解也可能不唯一；可能存在大量解。

1. 指代转向病态问题之前刚刚讨论过的那个有问题的情形。

关于所讨论设定下存在多个解的存在性陈述。

1. 字幕依据
   观察依据

   幻灯片标题为：“病态问题：条件数很大或无穷大”。

2. 声音
   观察依据

   说话人将条件数引入为刻画一个问题有多难、以及在多大程度上未定义的量化指标。

1. 幻灯片标题断言了病态问题与很大或无穷大的条件数之间的关联，但视频片段并未给出形式化证明。

病态问题是通过其条件数很大或为无穷大来刻画的，如幻灯片所示。

1. 该问题是在幻灯片中引入的条件数框架下进行讨论的。

幻灯片上呈现的是定义性/刻画性陈述。

1. 声音
   观察依据

   讲者指出，条件数是矩阵 A 的最大奇异值除以最小奇异值。

2. 公式
   观察依据

   幻灯片显示 $κ(A) = σ$_max(A) / σ_min(A)。

对于线性方程组 Ax=b，矩阵 A 的条件数为 $κ(A) = σ$_max(A) / σ_min(A)。

1. 问题是幻灯片上展示的线性方程情形。

2. 正在使用矩阵 A 的奇异值。

该陈述针对所展示线性系统中的矩阵 A。

1. 字幕依据
   观察依据

   幻灯片上写道：‘我们通常拥有的参数数量多于数据量，因此 $κ = \infty$’。

2. 声音
   观察依据

   主讲人指出，在许多情况下，我们的参数数量多于数据量。

1. 该片段给出了结论，但并未完整推导出从参数数量到 $κ = \infty$ 的过程。

在许多深度学习场景中，参数数量多于数据量，幻灯片将此总结为 $κ = \infty$。

1. 该设定是深度学习回归或反问题。

2. 参数数量超过数据数量。

如幻灯片和讲座所述，这通常/在许多情况下成立。

1. 字幕依据
   观察依据

   幻灯片上写道：‘因此，回归结果通常取决于我们如何求解该问题！’

1. 本片段中未展示不同求解器的明确示例。

在深度学习的过参数化情形下，回归结果通常取决于问题的具体求解方式。

1. 该问题是过参数化的。

2. 幻灯片中将条件数视为无穷大。

通常如幻灯片所示。

1. 声音
   观察依据

   讲师指出，条件数为无穷大或非常接近无穷大，因为我们通常处于过参数化状态。

2. 字幕依据
   观察依据

   幻灯片40明确写出：“我们通常拥有的参数数量多于数据量，因此 $κ = \infty$”。

1. 可见幻灯片文本中未指明所指条件数的具体矩阵。

在此处展示的过参数化线性深度学习设定中，参数数量多于数据量使得条件数$\kappa$等于$\infty$。

1. 该模型的参数数量多于数据点数量。

2. 条件数针对的是与线性回归/深度学习问题相关的矩阵。

针对讲座中讨论的典型过参数化情形。

1. 声音
   观察依据

   讲师指出，回归结果通常取决于我们如何求解该问题。

2. 字幕依据
   观察依据

   幻灯片40指出：“因此，回归结果通常取决于我们如何求解该问题！”

在过参数化设定下，回归结果通常取决于求解该问题所采用的优化过程。

1. 回归问题是过参数化的。

2. 仅凭数据无法唯一确定解。

通常而言，针对本讨论所涉及的问题类别。

1. 声音
   观察依据

   主讲人指出，认识到存在自由度、而非唯一解，是理解深度学习成功的关键。

2. 字幕依据
   观察依据

   幻灯片40指出：“这是理解深度学习成功的*关键*。”

认识到过参数化的深度学习问题具有自由度，而非唯一解，被呈现为理解深度学习成功的关键。

1. 深度学习问题允许多个解。

2. 成功正通过解的自由度与优化动力学的视角加以分析。

针对本讲段所讨论的深度学习成功。

1. 声音
   观察依据

   主讲人指出，我们所用的优化算法很重要，其行为可能并不简单。

2. 字幕依据
   观察依据

   幻灯片41上写着：“所用的优化算法很重要”以及“其行为可能并不简单”。

在线性深度学习中，优化算法很重要，因为最终的行为可能并不简单。

1. 有人正在研究线性深度学习的动力学。

2. 该问题可能存在多个解，或表现出非简单的优化行为。

本讲座所考虑的线性深度学习设定。

1. 公式
   观察依据

   幻灯片显示$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$。

2. 声音
   观察依据

   主讲人解释：当 epsilon 趋近于很小时，考察该区域内 f 的变化量之比的最大值；他用围绕中间值的一个环形区域作图示，并询问该环内最陡峭的区域。

1. 该推导是直观的/几何的，而非形式化证明；主讲人在本片段中并未从先前假设出发推导该公式。

1. 公式

   $$$$
   解释

   从所展示的定义$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$出发。

   步骤依据

   幻灯片上显示的公式。

   视频直接表达
2. 公式

   $$$$
   解释

   将$\varepsilon$解释为围绕当前值的一个小邻域的半径，主讲人将其描述为一个环。

   步骤依据

   主讲人在讨论该极限及约束$\|\delta x\| \le \varepsilon$时所作的口头类比。

   视频直接表达
3. 公式

   $$$$
   解释

   在该邻域内，考虑所有允许的扰动$\delta x$，并考察比值$\frac{\|\delta f\|}{\|\delta x\|}$。

   步骤依据

   直接读取幻灯片上给出的上确界表达式。

   视频直接表达
4. 公式

   $$$$
   解释

   在该邻域内取所有此类比值中的最大值，对应主讲人所说的‘最陡峭区域’。

   步骤依据

   显示公式中的上确界，加上主讲人的非正式描述。

   视频直接表达
5. 公式

   $$$$
   解释

   然后令邻域收缩，即取$\varepsilon \to 0$，对应主讲人所说的‘当我们让它变小’。

   步骤依据

   显示公式中的极限，及其对应的语音解释。

   视频直接表达

主讲人用非正式语言解读为：条件数在无穷小极限下，刻画了$x$中的扰动被放大为$f$中扰动的最坏情形倍数。这是对所显示公式的诠释，而非独立证明。

1. 声音
   观察依据

   主讲人首先描述如何调整〔x〕使得〔f〕变化最大，随后将其与高敏感度和低敏感度方向联系起来，最后给出奇异值公式。

2. 公式
   观察依据

   幻灯片同时展示了通用的〔κ〕公式以及〔$κ(A)=σ$_max(A)/σ_min(A)〕。

1. 公式

   $$$$
   解释

   从如下问题出发：当输入〔x〕受到微小扰动时，输出〔f〕最多可能改变多少？

   步骤依据

   音频内容：‘我们可以调整〔x〕使得〔f〕变化最大’以及‘〔x〕的微小变化……如何引起〔f〕的变化’。

   视频直接表达
2. 公式

   $$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$$
   解释

   将最坏情况下的局部敏感度表达为输出扰动与输入扰动之比的极限上确界。

   步骤依据

   公式直接显示在幻灯片上。

   视频直接表达
3. 公式

   $$$$
   解释

   从几何角度理解上确界：输入空间中的某些方向会产生很大的影响，而另一些方向则产生很小的影响。

   步骤依据

   音频讲解关于那些运动会产生极大或极小影响的维度。

   视频直接表达
4. 公式

   $$\kappa(A) = \frac{\sigma_{\max}(A)}{\sigma_{\min}(A)}$$
   解释

   聚焦于线性系统 Ax=b，其中最差和最优的方向放大效应分别由最大和最小奇异值编码。

   步骤依据

   音频配合幻灯片上的公式。

   视频直接表达

条件数衡量最坏情况下的局部放大效应；对于 Ax=b，它由最大奇异值与最小奇异值的比值表示。

1. 声音
   观察依据

   主讲人从“参数多于数据”和$\kappa=\infty$出发，过渡到过参数化，再过渡到回归问题如何依赖求解器，最后强调学习动力学与自由度的重要性。

2. 字幕依据
   观察依据

   幻灯片40按顺序列出了这些陈述：参数多于数据、$\kappa=\infty$、过参数化、依赖求解器、以及深度学习成功的关键。

1. 公式

   $$\text{more parameters than data}$$
   解释

   从模型参数数量多于可用数据点数量的情形出发。

   步骤依据

   直接出现在幻灯片40上，并由主讲人口述。

   视频直接表达
2. 公式

   $$\kappa = \infty$$
   解释

   关联矩阵的条件数趋于无穷大，表明其病态程度极高。

   步骤依据

   幻灯片上明确写出公式并配以语音说明：条件数为无穷大或非常接近无穷大。

   视频直接表达
3. 公式

   $$\text{generally overparameterized}$$
   解释

   这种情况被认定为过参数化。

   步骤依据

   在幻灯片40中陈述，并在音频中重复。

   视频直接表达
4. 公式

   $$\text{regression depends on how we solve the problem}$$
   解释

   由于问题存在过参数化，拟合回归结果无法仅由数据唯一确定；所选用的优化过程会影响最终得到的解。

   步骤依据

   在幻灯片40中陈述，并在语音中解释为“动力学之所以重要”的原因。

   视频直接表达
5. 公式

   $$\text{degree of freedom / not one solution}$$
   解释

   主讲人将这种依赖性解读为一种自由度：解并非唯一，而认识到这一点，是理解深度学习成功与正则化机制的核心。

   步骤依据

   语音展开说明与幻灯片40最后一行内容一致。

   视频直接表达

过参数化导致$\kappa=\infty$，从而使回归解依赖于优化动力学；解空间中的这种自由度被呈现为深度学习的一个关键概念特征。

1. 声音
   观察依据

   主讲人指出，这正是我们需关注线性深度学习动力学的原因——优化算法的选择至关重要；随后提出关于收敛性与学习曲线的问题。

2. 字幕依据
   观察依据

   幻灯片41首先显示标题‘需关注线性深度学习的动力学’，接着列出‘算法至关重要’‘行为非平凡’，以及关于收敛性与学习曲线的提问。

1. 公式

   $$\text{solution depends on optimization algorithm}$$
   解释

   延续此前结论：在过参数化的线性深度学习中，算法会影响最终得到的解。

   步骤依据

   该结论已在前一张幻灯片中确立，并在幻灯片41开头处重申。

   依据视频推导
2. 公式

   $$\text{study dynamics of linear DL}$$
   解释

   因此，本讲转向线性深度学习的动力学分析，而不仅限于静态回归公式。

   步骤依据

   幻灯片41上明确标出标题，并由主讲人作口头过渡。

   视频直接表达
3. 公式

   $$\text{behavior may be non-trivial}$$
   解释

   这些动力学行为并不被假定为简单；其表现可能具有非平凡性。

   步骤依据

   该内容书写于幻灯片41上，并由主讲人口头陈述。

   视频直接表达
4. 公式

   $$\text{ask about convergence \text{且} learning curves}$$
   解释

   接下来自然提出的问题是：此类动力学如何影响收敛性？学习曲线又呈现何种形态？

   步骤依据

   幻灯片41上以黑盒形式呈现提示语，并对应主讲人口头提出的若干问题。

   视频直接表达

由于优化算法会影响过参数化线性深度学习中的解，本讲由此引出对收敛性与学习曲线的研究——将其视为非平凡的动力学问题。

1. 图示
   观察依据

   静态幻灯片标题为‘这还挺有意思的，对吧？’，包含关于过完备与不完备情形的项目符号文本；右上角为主讲人网络摄像头画面；页脚为‘Konrad Kording • 第2周’及页码38。

2. 动画
   观察依据

   此时间段内幻灯片内容无动画效果；仅有主讲人在网络摄像头窗口中做出手势。

1. 标题文字：‘这还挺有意思的，对吧？’

2. 项目符号文本：‘若我们处于过完备情形’

3. 项目符号文本：‘线性回归是良定义的’

4. 项目符号文字：“如果我们处于欠定状态”

5. 项目符号文字：“它是未定义的（因而会抛出错误）”

6. 主讲人网络摄像头画中画

7. 页脚文字：“孔拉德·科丁 • 第2周”

8. 页码38

1. 主讲人在讲话时用手势辅助表达。

2. 幻灯片正文内容保持不变。

1. 四行项目符号在整个时间段内持续可见。

2. 幻灯片标题与页脚保持固定。

视觉布局对比了线性回归的两种情形：一种是过定情形，被描述为良定义的；另一种是欠定情形，被描述为未定义且会导致错误的。

1. 图示
   观察依据

   在50秒时，幻灯片切换至第39页，标题为“病态问题：条件数极大或无穷大”，并包含公式$Ax=b$、$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$和$\kappa(A) = \frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$。

2. 动画
   观察依据

   切换后，幻灯片保持静止，而主讲人继续在网络摄像头窗口中做手势。

1. 标题文字：“病态问题：条件数很大或为无穷大”

2. 公式$Ax=b$

3. 公式$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$

4. 公式$\kappa(A) = \frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$

5. 主讲人网络摄像头画中画

6. 页脚文字：“康拉德·科丁 • 第2周”

7. 页码39

1. 幻灯片内容从第38页切换到第39页，时间为50秒。

2. 主讲人在讲解极限与邻域概念时，双手上举并做出环形/圆圈状手势。

1. 一旦第39页出现，其显示的三个公式将一直保留在屏幕上，直至该片段结束。

2. 标题与页脚在切换后保持固定不动。

第二张幻灯片从数据体制的定性对比转向病态线性系统的条件数框架。

1. 图示
   观察依据

   静态幻灯片39，标题为“病态问题：条件数很大或无穷大”，并显示三个公式。

2. 动画
   观察依据

   仅讲师的网络摄像头手势发生变化；幻灯片内容保持静止。

1. 标题文字

2. 方程 Ax=b

3. 通用的 κ 公式

4. 矩阵$κ(A)$的公式

5. 页脚“孔拉德·科丁 • 第2周”

6. 幻灯片编号39

7. 主讲人网络摄像头小窗画面

1. 主讲人在讲解时用手势辅助表达。

2. 此时间段内幻灯片上无任何数学内容发生变化。

1. 全部三个公式在整个时间段内持续可见。

2. 幻灯片标题保持不变，直至88秒。

该视觉设计从两个定义层面锚定本次讲座：一是基于扰动的一般条件数，二是通过奇异值实现的矩阵特例。

1. 图示
   观察依据

   幻灯片切换至标题为‘此处深度学习很奇怪’的第40页，包含四条类似项目符号的陈述。

2. 动画
   观察依据

   切换发生在约88秒处；此后新幻灯片保持静止。

1. 标题：“深度学习在此处很奇怪”

2. 陈述：“我们通常参数数量多于数据量，因此 $κ = \infty$”

3. 陈述：“我们通常处于过参数化状态”

4. 陈述：“因此回归结果通常取决于我们求解问题的方式！”

5. 陈述：“这正是理解深度学习成功的关键所在”

6. 页脚：“康拉德·科丁 • 第2周”

7. 幻灯片编号：40

8. 主讲人网络摄像头小窗

1. 在88秒时，演示从幻灯片39切换至幻灯片40。

2. 主讲人在讨论参数数量与数据维度时持续做手势。

1. 四条文字陈述在切换后仍保留在屏幕上。

2. 页脚与幻灯片编号在幻灯片40上保持固定。

第二张幻灯片将条件分析应用于深度学习，断言存在过参数化、κ 为无穷大，以及求解器依赖的回归结果。

1. 图示
   观察依据

   一张静态讲义幻灯片标题为“此处深度学习很反常”，包含四条要点：“我们通常参数数量多于数据量，故条件数 $κ = \infty$”、“我们通常处于过参数化状态”、“因此回归结果通常依赖于求解方式！”、“这正是理解深度学习成功的关键！”。

2. 动画
   观察依据

   主讲人以小窗形式出现在画面右上方的网络摄像头画面中，边讲解边做手势；在此时段内，幻灯片内容本身保持静止。

1. 标题：“深度学习在此处显得奇怪”

2. 要点文字：参数数量多于数据量

3. 公式$\kappa = \infty$

4. 要点文字：关于过参数化

5. 要点文字：回归结果依赖于所用求解器

6. 要点文字：深度学习成功的关键

7. 讲师的网络摄像头画面

1. 讲师的手势随时间变化，而幻灯片文字保持固定不变。

1. 幻灯片标题及全部四条要点文字在整个0–40秒内持续可见。

2. 所展示的公式为$\kappa = \infty$。

视觉布局强调了一条逻辑链条：从参数过剩，到条件数趋于无穷，再到回归结果依赖于求解器，最后引出解空间自由度的概念重要性。

1. 图示
   观察依据

   在40秒时，幻灯片切换为标题“这正是我们应关注线性深度学习动力学的原因”，其要点为“优化所用算法至关重要”和“行为可能并不简单”，另有一个黑框文字：“那么收敛性如何？学习曲线如何？”

2. 动画
   观察依据

   切换幻灯片后，新幻灯片保持静止；讲师继续在摄像头画面中讲话。

1. 标题：“这正是我们应关注线性深度学习动力学的原因”

2. 要点：“所采用的优化算法至关重要”

3. 要点：“行为可能并非平凡”

4. 黑框内文字：“那么收敛性呢？学习曲线呢？”

5. 讲师的摄像头画面

1. 大约在40秒时，演示文稿从幻灯片40切换至幻灯片41。

1. 切换之后，幻灯片41上的文字一直保持不变，直至本片段结束。

2. 黑框以视觉方式突出强调了关于收敛性和学习曲线的问题。

第二张幻灯片将先前的概念性观点转化为一种研究风格的问题：若优化器的选择至关重要，则收敛性与学习曲线必须进行动力学分析。

1. 声音
   观察依据

   主讲人指出答案是未定义的，实际运行时会报错；具体报错与否取决于实现方式，但在大多数实现中都会报错。

人们可能认为，未定义的线性回归问题在所有软件系统中总会产生相同的明确错误。

讲师明确指出该行为取决于具体实现，尽管大多数实现会报错。

1. 声音
   观察依据

   主讲人指出均方误差仍可变得很小，但此时已不再存在唯一解；而是存在大量解。

人们可能推断：若均方误差可以变得很小，则解必然是唯一的。

讲师明确指出相反情况：目标函数值仍可变小，但唯一性已丧失，且存在多个解。

1. 声音
   观察依据

   讲师指出，我们的直觉在低维情形下非常可靠，但在高维情形下却极不可靠，且条件数常常令我们感到意外。

人们可能认为，从低维空间获得的几何直觉能够可靠地预测高维问题中的敏感性和条件性。

讲师明确警告：在高维情形下，直觉的可靠性大大降低，因此条件数的行为可能出人意料。

1. 字幕依据
   观察依据

   幻灯片上写着：‘所以回归结果通常取决于我们求解该问题的方式！’

人们可能认为，一旦选定模型类别，拟合所得的回归结果就完全由数据固定下来。

在幻灯片40所描述的过参数化深度学习情形中，解通常依赖于求解该问题所采用的方法。

1. 声音
   观察依据

   讲师指出，回归分析通常取决于我们求解问题的方式，并不存在唯一解，而存在一定程度的自由度。

2. 字幕依据
   观察依据

   幻灯片40指出，回归通常取决于我们求解问题的方式，并将此称为理解深度学习成功的关键。

人们或许会认为，一旦数据和模型类别固定，回归就只有一个与算法无关的唯一解。

在过参数化情形下且满足$\kappa=\infty$时，讲座指出并不存在唯一解；结果依赖于优化动力学，因而依赖于所采用的求解器。

1. 声音
   观察依据

   主讲人指出，所采用的优化算法至关重要，其行为可能十分复杂。

2. 字幕依据
   观察依据

   幻灯片41明确写道：“所采用的优化算法至关重要”以及“其行为可能十分复杂”。

人们或许会将优化算法仅仅视作不影响所学模型的实现细节。

本讲座在该设定下的线性深度学习中持相反观点：优化器塑造了动力学过程，其行为可能十分复杂，而收敛性与学习曲线则成为核心问题。

1. 字幕依据
   观察依据

   38号幻灯片以并列条目形式列出超完备情形与不完备情形作为对比。

2. 声音
   观察依据

   主讲人先解释超完备情形，再将其与数据量不足的情形进行对比。

讲座将超完备情形与不完备情形视为两种对立情形，用以区分线性回归问题是否良定义。

1. 声音
   观察依据

   在讨论了多种解法之后，主讲人指出，对于此类问题，存在一种更为精确的思考方式，并由此引出病态问题与条件数的概念。

2. 图示
   观察依据

   幻灯片切换为“病态问题：条件数很大或无穷大”。

条件数框架被引入，作为分析前述非唯一性／不确定性问题的一种更精确的方法。

1. 公式
   观察依据

   $\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$与$\kappa(A) = \frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$同时出现在同一张幻灯片上，位于关于病态问题的标题下方。

1. 该片段同时展示了两个公式，但并未口头推导其中一个公式如何由另一个得出。

在所展示的线性系统背景下，幻灯片给出了条件数的一般极限上确界定义，以及针对矩阵的奇异值比这两种表达形式。

1. 公式
   观察依据

   幻灯片上先展示通用的 κ 公式，再在其下方展示专门化的 $κ(A)$ 公式。

2. 声音
   观察依据

   讲师从一般性的敏感性语言转向线性方程情形。

矩阵公式 $κ(A)=σ$_max(A)/σ_min(A) 被作为更广泛的基于扰动的条件数概念在线性系统情形下的特例而提出。

1. 字幕依据
   观察依据

   幻灯片标题将‘病态问题’与‘条件数很大或为无穷大’关联起来。

病态问题的概念是通过其具有很大或无穷大的条件数来定义的。

1. 声音
   观察依据

   主讲人指出，这一概念广泛适用于反问题，在本例中则适用于求解深度学习问题。

2. 字幕依据
   观察依据

   幻灯片40将 $κ = \infty$ 应用于过参数化的深度学习。

本次讲座将条件数框架从线性反问题迁移至深度学习回归问题，其中过参数化被概括为 $κ = \infty$。

1. 字幕依据
   观察依据

   幻灯片40先列出过参数化，再指出回归结果依赖于问题的求解方式。

该幻灯片将回归的求解器依赖性呈现为过参数化且条件数无穷大这一情形的后果。

1. 字幕依据
   观察依据

   幻灯片40写道：“我们通常拥有的参数数量多于数据量，因此$κ = \infty$”。

2. 声音
   观察依据

   主讲人将过参数化直接与条件数为无穷大或非常接近无穷大联系起来。

命题$\kappa=\infty$被表述为过参数化线性深度学习设定中参数数量多于数据量的直接推论。

1. 声音
   观察依据

   主讲人从病态/条件数无穷大和过参数化，过渡到回归结果依赖于问题求解方式这一论断。

2. 字幕依据
   观察依据

   幻灯片40以连续项目符号的形式排列了这些观点。

无穷大的条件数／过参数化情形，是本讲座给出的回归解依赖于求解器的原因。

1. 声音
   观察依据

   主讲人解释道：由于解不唯一，因而存在自由度，而这正是理解深度学习成功的关键。

2. 字幕依据
   观察依据

   幻灯片40在‘解依赖于求解器’这一条目之后，紧接着以斜体强调：“这正是理解深度学习成功的关键”。

自由度这一概念，内含于且源于先前提出的“回归结果依赖于优化方法”这一主张。

1. 声音
   观察依据

   主讲人在讨论完自由度与多个解之后指出：正因如此，我们才应关注线性深度学习的动力学行为。

2. 字幕依据
   观察依据

   幻灯片41的标题为：“这正是我们应关注线性深度学习动力学的原因”。

认识到存在多个解以及解对求解器的依赖性，是研究线性深度学习动力学的前提与动机。

1. 声音
   观察依据

   主讲人提问：这种情况将如何影响收敛性？这些情形下的学习曲线又呈现何种形态？

2. 字幕依据
   观察依据

   幻灯片41的黑框中写着：“那么收敛性呢？学习曲线呢？”。

一旦认定动力学行为至关重要，讲座便以此视角切入，具体探讨收敛性与学习曲线行为这两个问题。

1. 声音
   观察依据

   主讲人指出，条件数用于量化一个问题的求解难度及其不确定程度。

2. 字幕依据
   观察依据

   幻灯片标题提到了条件数很大或无穷大。

1. 条件数用于量化问题的求解难度与不确定性

1. 公式
   观察依据

   幻灯片显示了$\kappa = \lim_{\varepsilon \to 0} \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|}$。

1. 条件数的上确界-极限定义

1. 公式
   观察依据

   幻灯片显示了$\kappa(A) = \frac{\sigma_{\max(A)}}{\sigma_{\min(A)}}$。

1. 矩阵A的条件数为其最大与最小奇异值之比

1. 字幕依据
   观察依据

   幻灯片38对比了“若我们是过完备的”与“若我们是欠完备的”。

2. 声音
   观察依据

   主讲人将其中一种情形解释为定义良好，而另一种则解释为未定义/会导致错误。

1. 过完备情形使线性回归定义良好
2. 不完备情形使答案未定义

1. 声音
   观察依据

   主讲人指出，均方误差仍可变得很小，但存在大量解。

1. 尽管解不唯一，均方误差仍可被缩小

1. 声音
   观察依据

   主讲人描述了一个围绕中间值的环形区域，并询问该区域内最陡峭的部分是什么。

2. 公式
   观察依据

   对应显示的公式中包含$\lim_{\varepsilon \to 0}$和$\sup_{\|\delta x\| \le \varepsilon}$。

1. 条件数的上确界-极限定义
2. 对上确界-极限公式的非正式解释。

1. 公式
   观察依据

   幻灯片39展示了通用的 κ 公式。

2. 声音
   观察依据

   主讲人将其解释为输入 x 的微小变化对函数值 f 所产生的影响。

1. 一般条件数公式
2. 病态问题

1. 公式
   观察依据

   幻灯片展示了 $κ(A) = σ$_max(A) / σ_min(A)。

2. 声音
   观察依据

   主讲人口头陈述了相同的比值。

1. 通过奇异值定义的矩阵条件数

1. 声音
   观察依据

   主讲人指出，直观理解在低维情形下效果良好，但在高维情形下往往失效。

1. 低维直觉在高维情形下失效
2. 条件数的方向性直观理解

1. 字幕依据
   观察依据

   幻灯片40指出：参数数量多于数据量意味着 $κ = \infty$。

1. 过参数化的深度学习对应于无穷大的条件数

1. 字幕依据
   观察依据

   幻灯片40指出：回归问题通常取决于我们求解该问题的方式。

1. 过参数化回归中的解依赖性

1. 字幕依据
   观察依据

   幻灯片40指出：“我们通常参数数量多于数据量，因此 $κ = \infty$。”

2. 声音
   观察依据

   讲师指出，在过参数化情形下，条件数为无穷大或非常接近无穷大。

1. 过参数化使条件数变为无穷大
2. 参数数量多于数据量意味着$\kappa=\infty$