K折交叉验证、分层K折、留一法、留P法交叉验证 Mahesh Huddar

1. 图示
   观察依据

   显示一个标有“数据集”的水平长条，随后被分割为两个相邻的矩形块。

Dataset

用于构建模型的全部数据集合。

所有可用的数据样本。

1. 图示
   观察依据

   分割后的数据集长条左侧部分标为“训练集”。

2. 声音
   观察依据

   “其中一部分称为训练集……我们借助训练集来训练机器学习模型。”

Training Set

用于拟合或训练机器学习模型的数据子集。

数据集的一个子集。

1. 图示
   观察依据

   分割后的数据集长条右侧部分标为“测试集”。

2. 声音
   观察依据

   “另一部分称为测试集……我们借助测试集对模型进行测试。”

Test Set

用于评估已训练模型最终性能的数据子集。

数据集的一个子集。

1. 图示
   观察依据

   在扩展图中，训练集进一步被划分为“训练集”和“验证集”。

2. 声音
   观察依据

   该训练集再次被划分为两部分：此处的训练集和验证集。

Validation Set

用于在开发过程中调整超参数并评估模型性能的数据子集。

训练集的子集

1. 公式
   观察依据

   幻灯片文字显示“$K = 10$”。

2. 声音
   观察依据

   主讲人说明数据集被划分为 k 份，并以 k 等于 10 为例。

K

k 折交叉验证中所用的折数；在演示的可视化示例中，该值固定为 10。

数据集划分所得的正整数份数。

1. 图示
   观察依据

   各行分别标记为（1）、（2）、……、（10）。

2. 声音
   观察依据

   主讲人提及第一次迭代、第二次迭代，以及全部十次迭代。

(1), (2), $\ldots$, (10)

迭代索引，用于标识本轮中哪一折被留出作为测试集。

示例图中显示的从 1 到 K 的整数。

1. 声音
   观察依据

   主讲人说：“我们在此处将 k 设为5”，并解释这意味着将数据划分为五份。

2. 图示
   观察依据

   在KFold和StratifiedKFold的讲解过程中，幻灯片右侧均出现手写红色标注“$K=5$”。

K

交叉验证中使用的折数；本片段中该值固定为5。

正整数；此处特指 $K=5$。

1. 声音
   观察依据

   主讲人多次提到“折”，并说明每次迭代使用其中一折作测试，其余各折作训练。

2. 图示
   观察依据

   每条竖直条形被划分为若干彩色段，代表各次交叉验证迭代中的折。

fold

在某次交叉验证迭代中，被指定用于测试或训练的数据集子集。

数据集中样本的一个子集。

1. 声音
   观察依据

   主讲人说：“在这个特定数据集中，我们有三个类别。这是第一个，这是第二个，这是第三个。”

2. 图示
   观察依据

   最左侧一列标为“class”，包含三个堆叠的彩色块；随后在这些块上手写标注“1”、“2”和“3”。

class

数据集中某个样本的目标类别标签；示例数据集包含三个类别。

类别型标签；此处为三个互异的类别。

1. 图示
   观察依据

   图例框中显示一个橙色/红色色块，标注为“测试集”。

2. 声音
   观察依据

   主讲人指出，每次迭代中高亮显示的片段即为用于测试的折（fold）。

Testing set

在某次迭代中被预留出来、用于评估模型的那一折。

本例中，每次迭代使用一折。

1. 图示
   观察依据

   图例框中显示一个蓝色色块，标注为“训练集”。

2. 声音
   观察依据

   主讲人说明，其余各折在每次迭代中均用于训练。

Training set

在某次迭代中未被选为测试集的所有折的并集。

本例中，每次迭代使用剩余的 K 减 1 折。

1. 图示
   观察依据

   横轴标注为“交叉验证迭代”，刻度标记为 1 至 5。

2. 声音
   观察依据

   主讲人依次讲解“第一次迭代”“第二次迭代”，依此类推，直至第五次。

CV iteration

交叉验证轮次的索引；此处共有五次迭代，编号为 1 至 5。

离散索引集 {1,2,3,4,5}。

1. 图示
   观察依据

   图示：单个数据集被划分为训练集和测试集两部分。

2. 声音
   观察依据

   给定一个数据集，该数据集被划分为两个组：一个称为训练集，另一个称为测试集。

在基础建模中，原始数据集被划分为两个互不相交的子集：一个用于拟合模型的训练集，以及一个用于在训练完成后评估模型性能的测试集。

1. 数据集必须足够大，才能进行有意义的划分。

2. 训练集和测试集理想情况下应满足独立同分布。

1. 图示
   观察依据

   图示：原始数据集被划分为训练集和测试集，其中训练集进一步被划分为训练集和验证集。

2. 声音
   观察依据

   该特定模型的扩展版本称为训练-测试-验证……此处该训练集再次被划分为两部分：训练集和验证集。

基础划分方法的扩展形式：将训练集进一步划分为训练子集（用于模型拟合）和验证子集（用于超参数调优与中间评估），而测试集则保持独立，专用于最终评估。

1. 当需要进行超参数调优时使用。

2. 要求数据量足够，以形成三个具有统计意义的子集。

1. 基础的训练-测试划分

1. 声音
   观察依据

   主讲人指出，模型可能进入过拟合状态：即在训练数据上表现完美，但在测试数据或现实世界数据上却无法保持同样效果。

2. 图示
   观察依据

   在阐述该观点时，屏幕上展示了一个训练/测试/验证工作流程图。

本片段从操作层面定义过拟合：即模型在训练数据上表现极佳，却在测试数据或实际应用中未能达到预期效果。该问题被作为引入交叉验证的动因提出。

1. 该陈述出现在常规的训练/测试或训练/验证/测试模型评估语境中。

2. 本片段未给出过拟合的正式数学判据。

1. 声音
   观察依据

   说话人指出，引入交叉验证是为了避免这些困难。

2. 字幕依据
   观察依据

   幻灯片文字：“交叉验证的思想源于训练-测试模型或训练-验证-测试模型所存在的问题。”

3. 字幕依据
   观察依据

   幻灯片文字：“其基本目标是确保我们模型的评分不依赖于我们选取训练集和测试集的方式。”

交叉验证被呈现为一种方法，用以降低模型评分对某一次特定训练集与测试集划分方式的依赖性；口述解释进一步指出，在整个过程中，模型使用全部数据集进行训练与测试。

1. 适用于单次固定划分的训练/测试或训练/验证/测试可能给出不可靠性能估计的情形。

1. 单次训练-测试或训练-验证-测试设置中存在的过拟合风险。

1. 字幕依据
   观察依据

   幻灯片标题：“机器学习中的交叉验证类型”。

2. 字幕依据
   观察依据

   列表项依次为：“K 折交叉验证”、“分层 K 折交叉验证”、“留一法”、“留 p 法”。

3. 声音
   观察依据

   说话人按相同顺序逐一说出这四种类型。

讲座在详细讲解第一种方法前，列出了四种交叉验证技术：K 折交叉验证、分层 K 折交叉验证、留一法和留 p 法。本120-秒片段中仅对 K 折法作了进一步展开。

1. 这是分类示意图幻灯片；视频片段中尚未给出后三种方法的定义。

1. 交叉验证的目的

1. 声音
   观察依据

   主讲人指出，整个数据集被划分为 k 折，示例中 $k = 10$。

2. 图示
   观察依据

   每行十等份，每次迭代含一个浅蓝色测试块和九个深蓝色训练块。

3. 字幕依据
   观察依据

   图例标注深蓝色为训练，浅蓝色为测试。

在 K 折交叉验证中，完整数据集被划分为 k 折。模型共训练 k 次；每次迭代中，其中一折用于测试，其余 k-1折用于训练。最终报告的性能是 k 次迭代性能的平均值。

1. 为适配图示，数据集必须能被整除为 k 折。

2. 视频片段明确演示了 $k = 10$ 的情形，尽管该方法一般性地描述为 k 折。

1. 交叉验证的目的

1. 声音
   观察依据

   我们要将数据分为五份。在每一次迭代中，我们取其中一份用于测试，其余四份用于训练。

2. 图示
   观察依据

   幻灯片标题为“机器学习中的K折交叉验证”，图表标题为“KFold”；五根柱状图分别标有1至5，每根柱内含一个橙色/红色测试块和四个蓝色训练块。

1. 口述语句“其余五份用于训练”与$K=5$及图示矛盾；实际含义应为其余四份。

视频以$K=5$为例介绍K折交叉验证：该方法将数据集划分为五份。在五次迭代中，每次恰好取一份作为测试集，其余四份作为训练集。可视化序列显示测试份的位置在迭代1至5间依次移动。

1. 本例中$K=5$

2. 每次迭代使用一份作为测试集

3. 其余份数用于训练

4. 共有五次交叉验证迭代

1. 声音
   观察依据

   为避免这一问题，我们采用一种称为分层K折交叉验证的方法……不是简单地将该数据划分为五份，而是以某种方式划分，使得每一份中各类别在此处均具有相等的代表性。

2. 图示
   观察依据

   约在77秒时，幻灯片切换为“机器学习中的分层K折交叉验证”，图表标题为“StratifiedKFold”；每次迭代的柱状图中均包含多个小块橙色/红色测试片段，分散于不同类别区域。

视频将分层K折交叉验证定义为普通K折划分的一种改进形式，其构造的每一折都确保每个类别具有相等的代表性。直观来看，每次迭代中的测试部分不再是一个单一的连续区块，而是从不同类别区域中抽取的若干小块，体现了类别均衡的留出集。

1. 适用于数据集包含多个类别的场景

2. 每一折都应保持各类别的代表性

3. 仍以$K=5$和五次交叉验证迭代为例进行图示

1. K折交叉验证流程
2. 普通K折交叉验证在类别不平衡方面的缺陷

1. 声音
   观察依据

   “但K折交叉验证存在一些缺点……在每一次迭代中，我们并未对这里的各个特定类别都取到相等的代表性。”

2. 图示
   观察依据

   最左侧的“类别”列标注为1、2、3；说话人指出，在早期迭代中测试折主要来自某一类别，而在后续迭代中则主要来自其他类别。

1. 各类别与颜色之间的精确对应关系可通过视觉推断得出，但在语音中仅以“第一类”“第二类”“第三类”指代，并未明确命名。

该片段指出了普通K折交叉验证的一个局限性：当数据集包含多个类别时，随机选取的某折可能无法保持整个数据集的类别比例。在所展示的例子中，某些测试折主要来自某一类别，而另一些则来自不同类别，因此各次迭代的留出集并非类别均衡的。

1. 数据集包含多个类别

2. 各折不受限于保持类别比例

1. K折交叉验证流程

1. 声音
   观察依据

   主讲人指出，这种方法通过确保每个类别在训练与测试中均得到同等代表，从而避免了k折交叉验证的缺陷。

2. 图示
   观察依据

   幻灯片标题为“机器学习中的分层K折交叉验证”，图表标题为“StratifiedKFold”。

3. 图示
   观察依据

   图例中橙色表示“测试集”，蓝色表示“训练集”；横轴标签为“类别”、“1”、“2”、“3”、“4”、“5”；纵轴标签为“样本索引”。

分层K折交叉验证被介绍为k折交叉验证的一种变体，其特点是：在各折中，训练集与测试集均按原始数据集中各类别的比例进行采样。图示示例采用五次交叉验证迭代，显示每次迭代的训练与测试部分均来自多个类别，而非将某一类别完全隔离。

1. 当各折之间的类别平衡性至关重要时使用。

2. 每一折都应保持整个数据集的类别分布。

1. 声音
   观察依据

   主讲人引入“留一法交叉验证”，并称其为k折交叉验证的一种极端情形。

2. 声音
   观察依据

   主讲人指出，每次仅用一个样本作为测试集，其余n减1个样本用于训练。

3. 图示
   观察依据

   幻灯片标题为“机器学习中的留一法交叉验证”。

4. 图示
   观察依据

   各行标签分别为“第1次迭代/N”、“第2次迭代/N”、“第3次迭代/N”以及“第N次迭代/N”，且每根柱状图中均有一段窄条与其他部分分离。

留一法交叉验证定义为一种特殊情况：每次迭代恰好留出一个样例用于测试，并在其余所有样例上进行训练。若数据集包含 n 个样例，则该过程共运行 n 次迭代。

1. 数据集大小为 n 个样例。

2. 每次迭代使用 1 个测试样例和 n-1 个训练样例。

1. k 折交叉验证回顾

1. 声音
   观察依据

   说话人指出，在 k 折交叉验证中，数据被划分为 k 份，并以 $k = 10$ 为例，得到 10 个组和 10 次训练。

2. 图示
   观察依据

   红色手写批注在留一法幻灯片上写下“$K = 10$”，此时说话人将常规 k 折交叉验证与留一法进行对比。

该片段简要回顾了标准 k 折交叉验证：将数据划分为 k 组，并对模型训练 k 次，每次使用其中一组作为验证集。这一回顾旨在说明留一法是 k 折交叉验证的极限情形，即折数等于样例总数。

1. 数据被划分为 k 份。

2. 模型被训练 k 次。

1. 声音
   观察依据

   但在这两种特定技术中……该模型存在偏差，因为数据的某一部分用于训练，某一部分用于验证，剩余部分用于测试……因此，模型在此处既未在全部数据的整体表征上进行训练，也未在其上进行测试。

采用固定的训练/验证/测试划分会引入偏差，因为模型既未在完整数据集的整体表征上进行训练，也未在其上进行评估。

1. 数据集被划分为固定、互不重叠的训练、验证与测试子集。

对于任意一种固定的划分方案

1. 字幕依据
   观察依据

   幻灯片文字指出，交叉验证的提出源于训练-测试法或训练-测试-验证法所存在的问题。

2. 字幕依据
   观察依据

   幻灯片文字指出，其目标是确保评分结果不依赖于训练集与测试集的具体划分方式。

3. 声音
   观察依据

   主讲人将交叉验证介绍为规避上述困难的方法。

交叉验证的提出源于这样一个问题：模型得分可能依赖于训练集和测试集的具体划分方式；该方法旨在使得分对该划分方式的依赖性降低。

1. 正在使用某种训练/测试划分方案评估一个机器学习模型。

讲座中提出的关于模型评估的一般性论断。

1. 声音
   观察依据

   说话者表示，他们取这一特定性能表现的平均值，而该平均值即被视为模型的最终性能。

在完成k折交叉验证的所有k次迭代后，模型的最终性能被取为各次迭代所得性能的平均值。

1. 在k折交叉验证过程中，该模型已在每一折被留出作为测试集时各评估了一次。

针对视频片段中所描述的k折交叉验证过程。

1. 声音
   观察依据

   “在每一次迭代中，我们都希望取其中一折用于测试，其余五折用于训练。”

2. 图示
   观察依据

   五个KFold条形图中的每一个都显示一个橙色/红色段和四个蓝色段。

1. 口述内容为‘剩余的五折’，但实际可见的设置及$K=5$表明仅有四折剩余用于训练。

当$K=5$时，每次交叉验证迭代都使用一折作为测试集，其余各折作为训练集。

1. 数据集已被划分为$K=5$折。

在全部五次交叉验证迭代中的每一次。

1. 声音
   观察依据

   ‘在每一次迭代中，我们并未在此处这些特定类别上保持均等的代表性。’

2. 图示
   观察依据

   KFold示意图显示，在不同迭代中，测试块集中在特定类别的区域之内。

常规K折交叉验证可能产生类别构成与全量数据集不一致的折，因此每次迭代中未必包含所有类别的均等代表性。

1. 该数据集包含多个类别。

2. 各折是在未进行分层处理的情况下形成的。

在图示示例中，共进行了五次迭代。

1. 声音
   观察依据

   “这些特定折叠中的每一个，都会在此处的这些特定类别上获得均等的代表性”；以及“在每一次迭代中，该特定数据的每个类别都会提供均等的代表性。”

2. 图示
   观察依据

   分层K折图示显示，在每次迭代中，测试部分被划分为多个小段，并分布在不同类别的区间内。

1. 视频中口头表述为“均等的代表性”，但并未明确说明这究竟指精确的数量相等，还是大致保持比例不变。

在分层K折交叉验证中，数据被划分成若干份，使得每个折叠均包含每个类别的均等代表性，因此每次迭代的测试集都能反映所有类别。

1. 该数据集包含多个类别。

2. 所采用的划分方法是分层K折交叉验证。

在图示的$K=5$示例中，针对每个折叠及每次交叉验证迭代。

1. 声音
   观察依据

   “正因如此，它可能再次陷入此处所谓的过拟合状态。”

1. 该片段断言了一种因果关系，但并未给出形式化证明，也未阐明类别不平衡导致过拟合的具体条件。

主讲人指出，K 折交叉验证各轮迭代中各类别样本数量不均衡，可能导致模型进入过拟合状态。

1. 在多类别数据集上使用标准 K 折交叉验证

2. 部分折次未能均等地涵盖所有类别

在所讨论的这一缺陷情境中

1. 声音
   观察依据

   说话人说：“这种情况下不会产生偏差，或者说模型不会进入过拟合状态。”

2. 声音
   观察依据

   接着，说话人指出，这通过确保每个类别在各折中均得到同等表征，避免了k折交叉验证的缺点。

1. 该陈述将分层直接与避免偏差和过拟合联系起来，但视频片段并未提供形式化证明，也未给出该结论成立的精确条件。

采用分层k折交叉验证，使每个类别在各折中均得到同等表征，可避免普通k折交叉验证的缺点，并防止模型评估过程中的偏差或过拟合。

1. 正在讨论的方法是分层k折交叉验证。

2. 每个类别在各折中均得到同等表征。

针对视频片段所描述的情形，跨折应用分层抽样被声称可避免所述缺点。

1. 声音
   观察依据

   说话人称留一法是“……k折交叉验证的极端情形。”

2. 声音
   观察依据

   主讲人解释了普通的k折交叉验证是将数据划分为k份，然后将其与每次迭代使用1个测试样本和$n-1$个训练样本的方法进行对比。

留一法交叉验证是k折交叉验证的一种极端情形。

1. 数据集包含n个样本。

2. 交叉验证被描述为将数据划分为若干份，以进行重复的训练与测试。

对于大小为n的数据集，留一法方案对应于折数等于n这一极限情形。

1. 声音
   观察依据

   主讲人指出，该技术在实际中通常不被采用，因为训练耗时过长。

2. 声音
   观察依据

   主讲人举出1000个或10000个样本的例子，并指出模型需相应地训练那么多次。

1. 该论断是对实用性的定性描述；未给出运行时间公式或基准测试结果。

留一法交叉验证在实际应用中通常不被采用，因为它要求对每个样本都训练一次模型，而大规模数据集会使这一过程变得十分耗时。

1. 该数据集规模足够大，使得反复进行完整模型训练代价高昂。

2. 每次迭代都需要单独拟合一个模型。

对于样本量很大的数据集，所需的训练次数随数据集规模线性增长，导致该方法在实践中往往不可行。

1. 声音
   观察依据

   主讲人解释将数据集划分为 k 个折10 次，当 $k = 10$ 时，每次留出一折用于测试，其余九折用于训练，并对性能取平均。

2. 图示
   观察依据

   各行（1）、（2）、……、（10）展示了被留出作为测试集的那一折在不同位置间轮换，而其余九个块始终用作训练集。

1. 公式

   $$$$
   解释

   从整个数据集开始，将其划分为 K 份。在示例中，$K = 10$，因此共有十份。

   步骤依据

   由说话人直接陈述，并通过图中十个相等的方块表示。

   视频直接表达
2. 公式

   $$$$
   解释

   对每一份执行一次迭代，共进行 K 轮训练/测试。当 $K = 10$ 时，模型被训练十次。

   步骤依据

   在音频中明确说明，并由标注为（1）至（10）的行表示。

   视频直接表达
3. 公式

   $$$$
   解释

   在第 i 次迭代中，选择第 i 份作为测试份，其余 $K-1$ 份作为训练数据。当 $K = 10$ 时，每轮对应 1 个测试份和 9 个训练份。

   步骤依据

   通过口头陈述及彩色图例和行模式可见。

   视频直接表达
4. 公式

   $$$$
   解释

   对每次迭代重复相同模式，使得在整个流程中，每一份恰好担任一次测试份。

   步骤依据

   说话人指出，所有十次迭代均遵循相同操作；图中显示测试位置在各行之间依次移动。

   视频直接表达
5. 公式

   $$$$
   解释

   收集 K 次迭代各自的性能结果，并取其平均值，作为最终模型性能。

   步骤依据

   在视频片段末尾明确说明。

   视频直接表达

该 10-份示例产生十次训练/测试评估，其平均值被报告为最终性能估计。

1. 声音
   观察依据

   主讲人明确讲解了第一轮和第二轮迭代，随后说“以此类推”

2. 图示
   观察依据

   光标与对勾标记从第1轮迭代到第5轮迭代，依次扫过 KFold 条形图的各条横杠，并在每条横杠中高亮显示橙色/红色的测试段

1. 公式

   $$$$
   解释

   从 $K=5$的 KFold 示意图出发，五轮交叉验证迭代分别标注为1至5

   步骤依据

   幻灯片标题、坐标轴标签及手写的 $K=5$共同确立了实验设定

   视频直接表达
2. 公式

   $$$$
   解释

   在第1轮迭代中，第一条横杠的顶部区段被标记为测试折，其余部分为训练折

   步骤依据

   主讲人说明：第一折用于测试，其余折用于训练；图中显示一个橙色/红色方块和四个蓝色方块

   视频直接表达
3. 公式

   $$$$
   解释

   在第2轮迭代中，另一区段变为测试折，其余区段仍为训练折

   步骤依据

   主讲人明确指出，第二次折叠用于测试，其余折叠用于训练；光标/对勾随之相应移动。

   视频直接表达
4. 公式

   $$$$
   解释

   相同模式在迭代3、4和5中持续进行。

   步骤依据

   主讲人以“以此类推”作结，图中剩余各栏也展示了类似的单测试块模式。

   视频直接表达

KFold 示意图展示了一个五轮过程：每轮留出一个折叠用于测试，其余四个折叠用于训练。

1. 声音
   观察依据

   主讲人先指出存在三个类别，再逐次说明每次迭代中各测试折叠分别来自哪个类别。

2. 图示
   观察依据

   手写标签1、2、3被添加至最左侧的类别列；主讲人在讨论各 KFold 测试块的类别来源时，指针在这些测试块间移动。

1. 颜色与类别编号之间的具体对应关系通过视觉方式暗示，但并未以正式图例形式明确说明。

1. 公式

   $$$$
   解释

   将数据集介绍为包含三个类别，其在最左侧列中分别标记为1、2和3。

   步骤依据

   主讲人说明共有三个类别，并在类别区块上添加了手写数字。

   视频直接表达
2. 公式

   $$$$
   解释

   注意，在第一次迭代中，测试折叠来自第三类区域。

   步骤依据

   主讲人明确指出首个测试折叠来自第三类，且指针指向对应的区块。

   视频直接表达
3. 公式

   $$$$
   解释

   注意，在第二次迭代中，测试折再次来自同一类别区域。

   步骤依据

   说话者说：“在第二次迭代中，它再次来自这一特定类别。”

   视频直接表达
4. 公式

   $$$$
   解释

   注意，后续迭代则从第一类和第二类区域中抽取测试折。

   步骤依据

   说话者指出，在最后一次迭代中，测试折来自此处的第一类和第二类，同时指向相关柱状图。

   视频直接表达
5. 公式

   $$$$
   解释

   得出结论：各次迭代中的测试折并未在整个过程中保持三类样本的等比例代表性。

   步骤依据

   这是说话者对所观察到模式所作的明确解释。

   视频直接表达

标准KFold示例通过视觉呈现与口头说明共同表明：非分层划分可能导致某个测试折的样本仅集中于部分类别，从而产生类别不平衡的测试集。

1. 声音
   观察依据

   说话者引入分层K折交叉验证（Stratified K-fold），以避免前述问题，并解释每个折都将具有各类样本的等比例代表性。

2. 图示
   观察依据

   幻灯片切换至StratifiedKFold；每次迭代对应的柱状图中均包含多个细小的橙色/红色测试段，分散分布于不同类别带中。

1. 视频未给出超出“等类别代表性”这一口头陈述之外的算法构造规则。

1. 公式

   $$$$
   解释

   在指出K折交叉验证的缺点后，将标准KFold幻灯片替换为StratifiedKFold幻灯片。

   步骤依据

   大约在77秒时，标题变为“机器学习中的分层K折交叉验证”，图表标题变为“StratifiedKFold”。

   视频直接表达
2. 公式

   $$$$
   解释

   保持五次交叉验证迭代的总体结构，并令$K=5$。

   步骤依据

   坐标轴仍显示迭代次数1至5，手写的$K=5$仍保留在屏幕上。

   视频直接表达
3. 公式

   $$$$
   解释

   调整折的构建方式，使得每一折都包含每个类别的样本。

   步骤依据

   说话人指出，数据被划分成若干折，以确保每一折中各类别样本的比例相同。

   视频直接表达
4. 公式

   $$$$
   解释

   阅读新示意图：在每次迭代中，测试部分呈现为若干小块橙色/红色区域，分散在不同类别区域内，而非一个连续的区块。

   步骤依据

   分层K折（StratifiedKFold）图明显地将测试集分割为每根柱状图内的多个条带。

   视频直接表达
5. 公式

   $$$$
   解释

   得出结论：当前每次迭代的测试折均具有各类别均衡的代表性。

   步骤依据

   说话人指出，在每次迭代中，我们都能获得每个类别的等比例代表性样本。

   视频直接表达

分层K折交叉验证被介绍为一种修正后的划分方案，它保证每一折都保持原始类别构成，从而避免普通K折交叉验证所暴露的类别不平衡问题。

1. 声音
   观察依据

   主讲人指出，如果我们有 n 个样本，就需要进行 n 次迭代。

2. 声音
   观察依据

   主讲人以100个样本为例进行说明：其中1个用于测试，99个用于训练（第一次迭代），该过程重复100次。

3. 图示
   观察依据

   幻灯片列出了从$1/N$ 到 $N/N$ 的迭代序号，每一行直观地编码了一个被留出的样本单元。

1. 公式

   $$$$
   解释

   从一个共含 n 个样本的数据集开始。

   步骤依据

   由主讲人直接陈述，并在幻灯片标签中用 N 表示。

   视频直接表达
2. 公式

   $$$$
   解释

   在每次迭代中，恰好留出1个样本用于测试，并使用其余的 $n-1$个样本进行训练。

   步骤依据

   音频中明确指出，并通过每行中窄而分离的区段加以图示。

   视频直接表达
3. 公式

   $$$$
   解释

   重复此过程，使得每个样本都恰好作为一次测试样本。

   步骤依据

   由标注为“迭代$1/N$”至“迭代$N/N$”的行序列，以及主讲人的口头解释共同隐含。

   视频直接表达
4. 公式

   $$$$
   解释

   因此，迭代总次数等于 n。

   步骤依据

   通过为每个样本计数一次迭代而得出。

   依据视频推导

对于大小为 n 的数据集，留一法交叉验证需要 n 次迭代，每次迭代针对一个样本。

1. 声音
   观察依据

   主讲人指出：在每次迭代中，我们不再仅用一个样本进行测试，而是每次使用 p 个样本进行测试。

2. 图示
   观察依据

   幻灯片标题与印刷标签均将该方法标识为“留 P 法”/“留 p 法”。

3. 图示
   观察依据

   红色手写批注设定 $P = 3$。

1. 该视频片段在推导留 p 法的迭代总次数之前即已结束。

1. 公式

   $$$$
   解释

   从留一法开始，其中每次迭代在 1 个样本上进行测试。

   步骤依据

   在同一视频片段中此前已确立。

   视频直接表达
2. 公式

   $$$$
   解释

   在每次迭代中，将原先单独预留的一个测试样本替换为 p 个预留的测试样本。

   步骤依据

   主讲人在介绍留 p 法时明确说明了这一点。

   视频直接表达
3. 公式

   $$$$
   解释

   所展示的例子将此特化为 $p = 3$。

   步骤依据

   由手写标注“$P = 3$”所示，并得到音频示例的支持。

   视频直接表达

留 p 个样本法交叉验证被呈现为留一法的直接推广，即从每次迭代仅留 1 个测试样本推广到每次迭代留 p 个测试样本。

1. 图示
   观察依据

   一张标题为“机器学习中的 K 折交叉验证”的幻灯片显示 $K = 10$，以及十行标注为（1）、（2）、……、（10）。

2. 声音
   观察依据

   主讲人逐步讲解了第一轮和第二轮迭代，并指出同样的方法适用于全部十轮迭代。

图示说明当数据集被划分为 $K = 10$ 份时，k 折交叉验证是如何运作的。

1. 数据集被划分为 10 份。

2. 图中每一行对应一轮迭代。

3. 深蓝色表示训练数据，浅蓝色表示测试数据。

明确每轮迭代中训练集与测试集的划分方式，以及最终性能指标是如何得出的。

1. 公式

   $$$$
   解释

   第1轮迭代：第一份用于测试，其余九份用于训练。

   步骤依据

   主讲人明确指出，并由第1行最左侧的浅蓝色块示意。

   视频直接表达
2. 公式

   $$$$
   解释

   第2轮迭代：第二份用于测试，其余九份用于训练。

   步骤依据

   主讲人明确指出，并由第2行第二个浅蓝色块示意。

   视频直接表达
3. 公式

   $$$$
   解释

   依此类推，持续进行各轮迭代，直至第10轮迭代：第十份用于测试，其余九份用于训练。

   步骤依据

   说话人指出，全部十次迭代均遵循相同规则；第10行显示最右侧方块为测试集。

   视频直接表达
4. 公式

   $$$$
   解释

   对十次迭代的性能取平均值，得到模型的最终性能。

   步骤依据

   该结论直接陈述于视频片段结尾句中。

   视频直接表达

当$K = 10$时，模型被训练并评估十次，每次留出不同的折作为验证集，最终得分是这十个得分的平均值。

验证依据是口述规则（每次迭代含一个测试折、九个训练折）与图中各行（1）、（2）、……、（10）的颜色模式之间的一致性。

1. 声音
   观察依据

   说话人逐步讲解了第一次和第二次迭代，并用“以此类推”概括其余迭代。

2. 图示
   观察依据

   KFold图表包含五根柱状图，标号为1至5，每根柱状图中含有一块橙色/红色测试区块和四块蓝色训练区块。

1. 未提供数值型数据集大小或确切的样本数量。

说明当K设为5时，K折交叉验证的工作方式。

1. K 等于 5

2. 五个交叉验证迭代，标记为1至5

3. 每次迭代中，一个折用于测试，其余折用于训练

展示五个迭代中测试折与训练折的分配情况。

1. 公式

   $$$$
   解释

   设$K=5$，因此数据集被划分为五个折。

   步骤依据

   由主讲人直接陈述，并在幻灯片上写作$K=5$。

   视频直接表达
2. 公式

   $$$$
   解释

   在迭代1中，使用一个折进行测试，其余四个折进行训练。

   步骤依据

   在音频中明确描述，并通过条形图1中一个橙色/红色块加四个蓝色块来展示。

   视频直接表达
3. 公式

   $$$$
   解释

   在迭代2中，使用另一个不同的折进行测试，其余四个折进行训练。

   步骤依据

   在音频中明确说明，并通过条形图2中偏移的橙色/红色块展示。

   视频直接表达
4. 公式

   $$$$
   解释

   以此类推，继续进行第3次、第4次和第5次迭代。

   步骤依据

   说话人说“以此类推”，其余条形图均呈现相同的“一次测试、四次训练”模式。

   视频直接表达

该示例展示了五轮交叉验证：每轮从五个折中留出一个折用于测试，其余四个折用于训练。

已对照可见的KFold图表验证：五个条形图中的每一个都恰好包含一个测试段和四个训练段。

1. 声音
   观察依据

   说话人指出，分层K折（stratified K-fold）将数据划分，使得每个折中各类别的样本比例相同，并在每次迭代中重复这一过程。

2. 图示
   观察依据

   分层KFold图表显示，在每次迭代的条形图内，存在多个分散于不同类别区域的小型橙色/红色测试段。

1. 该片段未提供每个折中各类别的精确数量，仅传达了类别分布均衡这一定性概念。

展示分层K折交叉验证如何在各折之间保持类别代表性。

1. 数据集包含三个类别。

2. K 等于 5

3. 展示了五次交叉验证迭代

证明每个折叠/测试集都包含所有类别，而非被某一类别所主导。

1. 公式

   $$$$
   解释

   从先前的问题出发：普通的K折交叉验证可能无法使各类别在各折叠中得到均等的代表。

   步骤依据

   主讲人专门引入分层K折交叉验证，以避免这一缺陷。

   视频直接表达
2. 公式

   $$$$
   解释

   对数据进行划分，使得每个折叠中各类别的样本比例相同。

   步骤依据

   在分层K折交叉验证的音频定义中直接陈述。

   视频直接表达
3. 公式

   $$$$
   解释

   观察分层K折交叉验证图中的迭代1：测试部分被分割为若干小块橙色/红色区域，散布于不同类别区间内。

   步骤依据

   该现象在图示中清晰可见，并由主讲人明确指出为具有类别代表性的测试折叠。

   视频直接表达
4. 公式

   $$$$
   解释

   观察到相同模式在迭代2至5中重复出现。

   步骤依据

   主讲人指出，第二、第三及后续各次迭代均发生相同情况；图表中每根柱状条均显示出类似的分段式测试区块。

   视频直接表达

分层示例表明，每次迭代的测试集均由所有类别的样本组成，从而在各折叠间保持类别平衡。

通过对比分层K折交叉验证图与先前的K折交叉验证图得以验证：测试区域分散于各类别区间，而非集中于单一类别区域。

1. 声音
   观察依据

   主讲人说：“假设我们共有100个样本，在第一次迭代中，其中一个样本用于测试，其余99个样本用于训练；同样的操作将在此处重复进行100次。”

2. 图示
   观察依据

   红色手写标注显示“100”，其下方写着“1, 99”。

图示当数据集包含 100 个样本时，留一法交叉验证如何运作。

1. 总样本数 = 100。

2. 每次迭代使用 1 个样本进行测试。

3. 剩余样本用于训练。

确定每次迭代的训练/测试划分方式以及总迭代次数。

1. 公式

   $$$$
   解释

   取第一次迭代，预留 1 个样本用于测试。

   步骤依据

   视频片段中陈述的留一法定义。

   视频直接表达
2. 公式

   $$$$
   解释

   在该次迭代中，使用剩余的99个样本来进行训练。

   步骤依据

   由100减1等于99得出，且讲话人明确说出。

   视频直接表达
3. 公式

   $$$$
   解释

   对所有样本重复相同的步骤。

   步骤依据

   讲话人称相同操作将执行100次。

   视频直接表达

每次迭代使用1个测试样本和99个训练样本，整个流程共运行100次迭代。

答案既符合讲话人口述的数值示例，也与手写的“100”除以“1, 99”标注一致。

1. 声音
   观察依据

   讲话人说：“例如，设p等于3，即三个样本将……”，随后片段结束。

2. 图示
   观察依据

   红色手写标注写着“$P = 3$”。

3. 图示
   观察依据

   幻灯片显示多行，每行下方标有“留p个 out”，并配有红色测试块和蓝色训练块。

1. 该句在所提供片段中未说完，因此选择$p = 3$所导致的完整结果在此处未被完整口述。

为留p个样本交叉验证引入一个具体的参数取值。

1. 该方法是留p个样本交叉验证。

2. 所选参数为 $p = 3$。

明确 $p = 3$ 在每次迭代中对测试集大小的含义。

1. 公式

   $$$$
   解释

   将留出样本数设为 $p = 3$。

   步骤依据

   该内容明确显示在幻灯片上，并由主讲人说出。

   视频直接表达
2. 公式

   $$$$
   解释

   将其理解为每次迭代使用三个样例进行测试。

   步骤依据

   该理解直接源自主讲人对留p个样本交叉验证的定义。

   视频直接表达

当 $p = 3$ 时，每次迭代留出 3 个样例用于测试，而非 1 个。

该理解与示例前紧邻给出的定义一致，尽管视频片段在此处结束，未进一步展开细节。

1. 图示
   观察依据

   一条标有“数据集”的横条出现，随后分裂为两个分别标有“训练集”和“测试集”的方块；一个黄色光标依次高亮显示每个方块。

1. 数据集横条

2. 训练集方块

3. 测试集区块

4. 黄色光标

1. 数据集条形图分为两个区块

2. 光标从训练集移动到测试集

1. 条形图的总长度代表完整数据集

直观地展示了将数据划分为训练子集和测试子集这一基本概念。

1. 图示
   观察依据

   一幅新示意图显示‘原始数据集’分裂为‘训练集’和‘测试集’；其中‘训练集’进一步分裂为‘训练集（外层）’和‘验证集’。箭头将这些部分连接至一个六边形‘机器学习算法’及一个矩形‘预测模型’，并用环形箭头表示调优／评估循环。

1. 原始数据集

2. 训练集（外层）

3. 测试集

4. 训练集（内层）

5. 验证集

6. 机器学习算法

7. 预测模型

8. 循环箭头

1. 展示了数据集的嵌套划分

2. 箭头表示数据→算法→模型的流向

3. 循环箭头代表迭代式的调优与评估

1. 测试集始终与调优循环隔离

图示了完整的工作流程，包括在最终测试前使用验证集进行超参数调优。

1. 图示
   观察依据

   流程图依次展示：原始数据集、训练集与测试集、再细分出训练集、验证集与测试集，并共同输入至机器学习算法及预测模型循环中。

2. 声音
   观察依据

   说话人在该图持续显示期间讨论过拟合问题。

1. 原始数据集

2. 训练集

3. 测试集

4. 验证集

5. 机器学习算法

6. 预测模型

7. 训练、调优与评估循环

8. 最终性能估计箭头

1. 黄色指针在图中与验证相关的部分移动，同时讲解单次划分方案失效的原因。

1. 在此期间，整体工作流程结构保持静止。

该图通过视觉方式对比了简单的训练/测试与训练/验证/测试工作流程，旁白则解释此类设置为何可能导致评估不可靠和过拟合。

1. 字幕依据
   观察依据

   标题变为“机器学习中的交叉验证”。

2. 字幕依据
   观察依据

   两条要点依次出现，分别说明为何需要交叉验证，以及交叉验证所能保证的内容。

1. 标题文字

2. 第一条要点文字

3. 第二条要点文字

4. 黄色指示箭头

1. 幻灯片最初几乎空白，随后第一条要点显现，再之后第二条要点出现。

1. 本页主题仍是交叉验证的动机。

逐次呈现的文字结构化地展开论证：先指出固定划分方式存在的问题，再阐明目标——使评分结果不依赖于特定的划分方式。

1. 字幕依据
   观察依据

   标题为“机器学习中的交叉验证类型”。

2. 字幕依据
   观察依据

   列表项依次出现：K折交叉验证、分层K折交叉验证、留一法、留p法。

1. 标题文字

2. 四个要点项

3. 黄色指示箭头

4. K折交叉验证旁的红色对勾标记

1. 每种方法按顺序依次添加，同时讲解者会说出该方法的名称。

2. 在“K折”旁画上红色对勾标记，然后继续进行。

1. 该幻灯片起到分类概览的作用，而非定义性幻灯片。

视觉化的逐项列举，为深入讲解第一项——K折交叉验证——做好铺垫。

1. 图示
   观察依据

   幻灯片标题为“机器学习中的K折交叉验证”，图例标注为“训练”和“测试”，并标有“$K = 10$”。

2. 动画
   观察依据

   行标签为（1）、（2）、……、（10），其中浅蓝色测试块位置逐行移动，其余部分保持深蓝色。

1. 图例：训练（深蓝色），测试（浅蓝色）

2. 标注$K = 10$

3. 十行示意图，行标签为（1）、（2）、……、（10）

4. 黄色指针

5. 红色批注，包括对“$K = 10$”的下划线/圆圈标注，以及各区块上方的数字

1. 指针高亮显示 $K = 10$，然后逐行、逐块进行指示。

2. 测试折的位置逐行变化：第1个位置在该行中为测试折，第2个位置在该行中为测试折，第10个位置在该行中为测试折。

1. 每一行恰好包含十个相等的块。

2. 在每一个展示的行中，恰好有一个块为浅蓝色，其余九个为深蓝色。

所有行中保持不变的‘一测/九训’模式，编码了10折交叉验证的核心规则：每一折恰好作为一次测试集，其余折则用于训练模型。

1. 图示
   观察依据

   幻灯片标题为“机器学习中的K折交叉验证”，图表标题为“KFold”；y轴为“样本索引”；x轴为“交叉验证迭代次数”，刻度标记为1至5；图例中橙色/红色表示“测试集”，蓝色表示“训练集”；最左侧标有“class”的列包含三个堆叠的彩色块。

1. 标题文字

2. KFold图表

3. 最左侧的类别列

4. 五个迭代条形

5. 图例

6. 手写标注 $K=5$

1. 手写标注 $K=5$在视频片段早期出现在右侧

2. 光标在各条形间移动，并高亮显示测试块

3. 在第1次和第2次迭代中，被选中的测试块附近出现对勾标记

1. 共有五次交叉验证迭代

2. 每次迭代的条形图包含一个测试块和四个训练块

3. 图例始终用橙色/红色表示测试，蓝色表示训练

静态布局确立了标准的 K 折交叉验证方案，其中 $K=5$，并展示了每次迭代中如何留出一个折

1. 图示
   观察依据

   当讲解者讨论三个类别时，在最左侧类别列的三个堆叠块上手写标注数字1、2和3

1. 颜色与数字的具体对应关系可通过视觉推断得出，但未单独配文字说明

1. 最左侧的类别列

2. 手写数字1、2、3

1. 数字按顺序依次写在三个类别块上

1. 该数据集被表示为包含三个类别

2. 其余 K 折交叉验证图表保持不变

这一标注将抽象的堆叠列转化为明确的三类别示例，从而支持后续关于各折中类别分布不均的讨论

1. 图示
   观察依据

   大约在77秒时，幻灯片从“机器学习中的K折交叉验证”/“KFold”切换为“机器学习中的分层K折交叉验证”/“StratifiedKFold”。

1. 精确的切换帧仅为近似值，因为该变化发生在连续叙述过程中。

1. 新幻灯片标题

2. 新图表标题

3. 坐标轴与图例保持不变

4. 折叠模式已修改

1. 标题变更为“机器学习中的分层K折交叉验证”

2. 图表标题变更为“StratifiedKFold”

3. 每次迭代中，测试区域在各类别带内变得支离破碎

1. $K=5$仍被标出

2. x轴上仍显示五次交叉验证迭代

3. 橙色/红色仍表示测试集，蓝色仍表示训练集

视觉上的切换标志着从普通的K折交叉验证转向分层变体，该变体旨在保持各类别样本比例平衡。

1. 图示
   观察依据

   在分层K折交叉验证（StratifiedKFold）图中，每一条代表五次迭代的横条都包含多个分散在不同垂直区域的小段橙色/红色区域，而非一个连续的色块。

1. 五条分层K折交叉验证（StratifiedKFold）横条

2. 小段橙色/红色测试集区域

3. 蓝色训练集区域

4. 最左侧的类别列

1. 光标指向各次迭代中不同的小段测试集区域

2. 手写的 $K=5$ 在视频片段后续被圆圈标出

1. 每次迭代仍代表一轮交叉验证

2. 测试集与训练集的颜色编码保持不变

3. 整体结构仍为五次迭代

分散的测试片段在视觉上编码了每个折都从多个类别中抽取样本，体现了分层采样。

1. 图示
   观察依据

   一张标题为“机器学习中的分层K折交叉验证”的幻灯片展示了一张标题为“StratifiedKFold”的图表，其纵轴为“样本索引”，横轴标签为“类别”、“1”、“2”、“3”、“4”、“5”。

2. 图示
   观察依据

   图例中橙色代表“测试集”，蓝色代表“训练集”。

3. 图示
   观察依据

   一张红色手写便签上写着“$K = 5$”。

4. 动画
   观察依据

   一个黄色光标在图表和标题区域周围移动。

1. 每种颜色区块内的精确类别比例未以数字标注。

1. 标题文字

2. 图表标题为 StratifiedKFold

3. 橙色测试集区块

4. 蓝色训练集区块

5. 坐标轴标签为“类别”和“1–5”

6. 手写体 $K = 5$

7. 黄色光标

1. 光标在图表和标题上移动。

2. 关注点从类别列转移到编号的交叉验证迭代列。

1. 图例始终用橙色表示测试集、蓝色表示训练集。

2. 横轴仍表示类别加上五次交叉验证迭代。

该可视化图表明：每次交叉验证迭代均包含跨类别的训练样本与测试样本混合，体现的是各类别按比例参与，而非按类别划分的独立折数。

1. 图示
   观察依据

   一张新幻灯片出现，标题为“机器学习中的留一法交叉验证”。

2. 图示
   观察依据

   四根水平条分别标注为“迭代$1/N$”、“迭代$2/N$”、“迭代$3/N$”和“迭代$N/N$”，第三行与第四行之间用竖向省略号连接。

3. 图示
   观察依据

   每根条形中均有一段窄而浅色的区域，与较大的青绿色区域相分离。

4. 图示
   观察依据

   手写注释在“10”上方添加“$K = 100$”、“n”和“1”，在“99”上方。

5. 动画
   观察依据

   黄色光标依次指向标题、条形图及批注。

1. 该幻灯片未在图例中显式地用颜色区分训练集与测试集；两者的区别需依据讲解内容及窄而分离的区段来推断。

1. 标题文字

2. 四根水平的迭代条

3. 标签为“第1次迭代/N”至“第N次迭代/N”

4. 每根条中有一段窄而亮的区段

5. 每根条中有一块较大的青绿色区域

6. 手写标注：$K = 10$, n, 100, 1, 99

7. 黄色光标

1. 幻灯片从分层k折交叉验证切换为留一法。

2. 手写批注依次添加：先写 $K = 10$，再写 n，最后写 100 除以 1、99。

3. 光标从标题移向迭代条，再移向批注。

1. 每一行仍表示一次迭代。

2. 每一行均恰好显示一小段被分离出来的部分和一大段剩余部分。

每行中重复出现的一个微小留出片段，直观地表示在单个样本上测试、在其余样本上训练；而批注则将这一模式与数据集大小 n 及 100 个样本的示例联系起来。

1. 声音
   观察依据

   该特定模型存在偏差，因为数据的某些部分被用于训练……因此模型并未在数据整体表征上进行训练或测试

学习者可能认为单次划分出的训练集/验证集/测试集能无偏地估计模型在全部数据分布上的性能。

固定划分方式本质上会将数据集的某些部分排除在训练或评估阶段之外，从而导致潜在偏差，因为模型在任一阶段都无法看到完整数据集的表征。

1. 声音
   观察依据

   讲解者指出，该模型在训练数据上将表现完美，但在测试时可能失效，或在现实世界中无法按预期工作。

人们或许会认为，若一个模型在训练数据上表现完美，那么它在未见过的数据上也会表现良好。

该片段明确警示：模型可能对训练数据拟合得极好，却在测试阶段或实际部署中失败；这种过拟合状态正是引入交叉验证的动机所在。

1. 字幕依据
   观察依据

   幻灯片文字指出，交叉验证旨在确保评估得分不依赖于训练集与测试集的具体划分方式。

某一次选定的训练/测试划分，可能被误当作模型质量的客观度量。

本讲座之所以精确介绍交叉验证，正是因为单次任意划分所得的评分可能依赖于数据的具体划分方式。

1. 声音
   观察依据

   说话人说：“在每一次迭代中，我们都想取一折用于测试，其余五折用于此处的训练。”

2. 图示
   观察依据

   $K=5$的KFold图示显示每次迭代包含一个测试块和四个训练块。

当$K=5$时，人们可能听到或说出：取一折用于测试后，仍有五折可用于训练。

若$K=5$且一折被用于测试，则仅剩四折可用于训练。图示清晰显示每次迭代包含一个测试块加四个训练块，因此口述的“剩余五折”与所展示的设置不一致。

1. 声音
   观察依据

   说话人明确指出，K折交叉验证存在缺点，因为并非每次迭代都能对每个类别给予同等的代表性。

2. 图示
   观察依据

   KFold图示显示，在各次迭代中，测试折集中在特定类别的区域。

人们可能假设任意K折划分都会自动使每一折中的类别构成与整个数据集保持一致。

视频表明，普通K折交叉验证可能产生某一类别占主导的折，或无法均衡呈现其他类别；正因如此，才引入了分层K折（stratified K-fold）。

1. 声音
   观察依据

   说话人指出，这类交叉验证技术在实际中通常不被采用，因为训练耗时过长。

2. 声音
   观察依据

   说话人将其与常用的替代方案——k 折交叉验证——进行对比。

人们可能会认为，由于留一法在每次折中几乎使用全部数据进行训练，因此它应是现实世界中的默认选择。

视频明确警告：留一法对 n 个样本需要进行 n 次训练，当数据集规模较大（例如包含1000或10000个样本）时，计算耗时过长，因此实践者通常更倾向于采用 k 折交叉验证。

1. 声音
   观察依据

   主讲人明确指出：由于采用随机选取，同一样本可能在多次迭代中被选为测试样本。

学习者可能误以为，在交叉验证中每个样本恰好被测试一次，或各次迭代的测试集彼此互斥。

在采用随机选取的留P法交叉验证中，同一样本可能在多个迭代中出现在测试集中。主讲人通过指出一个在第一轮和第三轮均被测试的样本来强调这一点。

1. 声音
   观察依据

   “该特定模型的扩展版本被称为训练-测试-验证划分。”

训练-测试-验证划分通过增加一个专门用于超参数调优的验证子集，对基础的训练-测试划分进行了泛化。

1. 声音
   观察依据

   “但在这两种特定技术中……都存在偏差……因此模型在此处并未使用全部数据的表征进行训练或测试。”

这两种固定划分方法因其共同局限性——即在每个阶段均未利用完整数据集的表征，从而引入偏差——而与交叉验证的隐含需求形成对比。

1. 声音
   观察依据

   主讲人从描述过拟合带来的困难，自然过渡到将交叉验证作为解决方案进行介绍。

2. 字幕依据
   观察依据

   交叉验证幻灯片明确指出，该思想的提出正是源于训练-测试法或训练-测试-验证法所存在的问题。

关于过拟合及划分依赖型评估的讨论，引出了对交叉验证的迫切需求。

1. 字幕依据
   观察依据

   类型幻灯片将K折交叉验证列为第一种交叉验证技术。

2. 声音
   观察依据

   主讲人表示，将先理解各类交叉验证方法，再继续深入讲解K折交叉验证。

K折交叉验证被呈现为更广泛的交叉验证方法家族中的一种具体成员。

1. 声音
   观察依据

   在逐折解释完操作流程后，主讲人指出：各次性能的平均值即为最终性能。

这一平均规则依赖于事先已明确定义K折迭代式训练/测试流程。

1. 声音
   观察依据

   主讲人介绍分层K折交叉验证（stratified K-fold）为“避免这一特定问题”所采用的方法，此前他刚说明了普通K折交叉验证（K-fold CV）的缺点。

2. 图示
   观察依据

   幻灯片从KFold切换为StratifiedKFold，同时保持相同的五轮迭代结构。

分层K折交叉验证被呈现为对普通K折交叉验证的一种改进，其额外要求是各折在类别上保持平衡。

1. 声音
   观察依据

   主讲人首先指出普通K折交叉验证的缺点，随后说明分层K折交叉验证正是为避免该缺点而采用的。

2. 图示
   观察依据

   KFold的类别不平衡示意图之后，紧跟着展示StratifiedKFold的类别平衡示意图。

理解普通K折交叉验证在类别不平衡方面的缺陷，正是本片段中引入分层K折交叉验证的动因。

1. 声音
   观察依据

   “正因如此，它可能再次陷入所谓的过拟合状态。”

1. 该片段并未详述类别不平衡的折与过拟合之间的关联机制。

视频将已识别出的类别不平衡问题，作为普通K折交叉验证可能导致过拟合状态的理由。

1. 声音
   观察依据

   主讲人指出，这种方法通过确保每个类别在每折中均得到均等表征，从而规避了 k 折交叉验证的缺陷。

2. 图示
   观察依据

   幻灯片标题明确为“分层 k 折交叉验证”。

分层 k 折被呈现为普通 k 折交叉验证的一种改进形式，其特点是各折中各类别所占比例与原始数据集保持一致。

1. 声音
   观察依据

   主讲人称留一法是 k 折交叉验证的极端情形。

2. 图示
   观察依据

   当主讲人对比普通 k 折与留一法时，手写体 $K = 10$出现在画面上。

留一法被描述为 k 折交叉验证的极限情形，即折数等于样本总数。

1. 声音
   观察依据

   主讲人在引入留 p 法时指出：每次迭代中，我们不再仅用一个样本来做测试，而是使用 p 个样本来做测试。

2. 图示
   观察依据

   幻灯片从每行仅有一个窄条形留出块，变为每行有多个红色测试块。

留 p 法是对留一法的扩展，它将单个被留出的测试样本替换为 p 个被留出的测试样本。

1. 声音
   观察依据

   主讲人指出，留一法在实际应用中通常不被采用，因为它需要耗费大量时间进行训练；随后说明，我们通常采用 k 折交叉验证。

该片段从实用性角度对比了留一法与普通 k 折交叉验证：留一法需对每个样本单独进行一次训练，而 k 折交叉验证仅需进行 k 次训练。

1. 声音
   观察依据

   “给定一个数据集，该数据集被划分为两个组……”

1. 基础的训练-测试划分

1. 声音
   观察依据

   “我们将借助验证集来观察模型性能……模型则通过不同的超参数进行调优。”

1. 训练-测试-验证划分

1. 声音
   观察依据

   “该特定模型存在偏差，因为数据的某一部分被用于训练……”

1. 基础的训练-测试划分
2. 训练-测试-验证划分
3. 固定数据划分中的偏差

1. 字幕依据
   观察依据

   幻灯片文字直接陈述了引入交叉验证的动机。

1. 单次训练-测试或训练-验证-测试设置中存在的过拟合风险。
2. 交叉验证的目的

1. 声音
   观察依据

   主讲人解释：每次迭代中，用其中一折作测试，其余各折作训练。

2. 图示
   观察依据

   颜色编码的行表示被留出的折（fold）位置发生变化。

1. K 折交叉验证流程
2. 图示的10折交叉验证过程的逐步推导。
3. 示例讲解：10折交叉验证

1. 声音
   观察依据

   讲解者指出，各次性能的平均值被视为最终性能。

1. 最终的k折交叉验证得分是各折得分的平均值。
2. K 折交叉验证流程

1. 字幕依据
   观察依据

   幻灯片上列出了四种交叉验证类型。

1. 本片段中提到的交叉验证类型

1. 声音
   观察依据

   开篇解释设置$K=5$并将数据划分为若干折。

2. 图示
   观察依据

   KFold图表，含五轮迭代。

1. K折交叉验证流程
2. $K=5$的K折交叉验证的可视化示例

1. 声音
   观察依据

   主讲人先说明K折交叉验证的缺点，再引出分层K折交叉验证以规避这些缺点。

2. 图示
   观察依据

   KFold与StratifiedKFold图表的对比。

1. 普通K折交叉验证在类别不平衡方面的缺陷
2. 分层K折交叉验证流程
3. s240-cr-stratified-generalizes-kfold

1. 声音
   观察依据

   反复强调每一折中每个类别的样本数量均等。

2. 图示
   观察依据

   分层K折交叉验证中，测试段在各类别区间内呈碎片化分布。

1. 分层K折交叉验证流程
2. 分层K折的可视化实例，涉及三个类别。

1. 声音
   观察依据

   主讲人将缺乏各类别样本数量均等的情况与可能发生的过拟合联系起来。

1. 视频片段中未给出正式证明或详细机制。

1. 类别不平衡的折叠可能导致学习过程陷入过拟合状态。
2. 普通K折交叉验证在类别不平衡方面的缺陷

1. 声音
   观察依据

   关于其余折用于训练的说法存在口语表达不一致。

2. 图示
   观察依据

   每轮迭代中可见一个测试块和四个训练块。

1. K折交叉验证流程
2. 关于剩余训练折数量的错误陈述