K折交叉验证 - 机器学习入门

1. 声音
   观察依据

   主讲人称，该数据集被划分为 k 个等大小的组。

2. 公式
   观察依据

   黑板上在分段条旁标出红色小写字母 k，随后写出 $k = 10$。

k

k 折交叉验证中所用的等大小折数或组数。

划分的整数个数；在例题中 $k = 10$。

1. 声音
   观察依据

   主讲人举了一个含 200 个数据点的例子。

2. 公式
   观察依据

   黑板上写出 200 = 数据集大小。

200 = data set size

例题数据集中数据点的总数。

观测值的正整数个数。

1. 声音
   观察依据

   主讲人说：如果你有 10 个组，那么每组有多少个数据点？

2. 公式
   观察依据

   黑板上写出 $10 = k$。

$10 = k$

在例题中，折数为 10。

k 的一个具体取值。

1. 声音
   观察依据

   主讲人回答：每个箱中包含20个数据点。

2. 公式
   观察依据

   黑板上在一个小方框内写下20，然后用20标记可见的各个箱。

20

在总计200个数据点、划分为10折的示例中，每折所含的数据点数量。

由200除以10推导得出。

1. 公式
   观察依据

   黑板上显示用红色圆圈标出的文字“$k = 10$”。

2. 声音
   观察依据

   说话人提到“10折交叉验证”。

k

k折交叉验证中所使用的折数。

正整数

1. 公式
   观察依据

   说话人在白板上写下“10折C.V.”。

C.V.

交叉验证的缩写。

文字缩写

1. 声音
   观察依据

   主讲人介绍了一种名为交叉验证的方法，称其是对训练集与测试集划分思想的一种轻微推广。

2. 公式
   观察依据

   黑板顶部写有标题“CROSS VALIDATION”。

交叉验证被呈现为一种对简单训练/测试划分思想的推广，用于评估机器学习模型。

1. 当人们希望在兼顾训练集大小与测试集大小之间权衡的前提下评估模型性能时使用。

1. 声音
   观察依据

   主讲人讨论了将数据集划分为训练数据与测试数据所存在的问题，并描述了同时最大化两个集合规模的困境。

2. 公式
   观察依据

   黑板上写下‘将数据划分为训练集与测试集的问题’，随后画出一条长条形图，将其分为测试部分与训练部分，并用标有‘max’的箭头加以指示。

单次划分迫使我们在测试集和训练集之间做出选择：各自应占数据的多少比例。主讲人将其描述为一种两难困境，因为人们既希望训练集包含足够多的数据点以获得最佳学习效果，又希望测试集包含足够多的数据点以实现最佳验证效果。

1. 适用于将数据集固定划分为训练子集和测试子集的情形。

1. 声音
   观察依据

   主讲人指出存在一种固有的权衡关系：每从训练集中移出一个数据点放入测试集，训练集就损失一个可用于训练的数据点。

2. 公式
   观察依据

   板书用圆圈标出了条形图中测试部分与训练部分之间的分界线。

视频指出单次划分存在一种固有的权衡：将任一观测样本从训练集移至测试集，都会减少训练可用的数据量。

1. 假设整个数据集的规模是固定的。

1. 单次训练-测试划分所存在的问题

1. 声音
   观察依据

   主讲人表示其基本思想是将数据集划分为 k 个等大小的组，并分别开展 k 次独立的学习实验。

2. 公式
   观察依据

   板书写出“k 折交叉验证”，显示 $k = 10$，并列出：开展 k 次独立的学习实验、选定测试集、训练、在测试集上测试、对这 k 次实验的测试结果取平均值。

k 折交叉验证将数据集划分为 k 个等大小的组，然后重复执行以下操作：每次选其中一组作为测试集，其余 k-1 组作为训练集，运行学习算法，在留出的那组上进行评估，并对 k 次测试结果取平均值。

1. 数据集被划分为 k 个等大小的组。

2. 每次实验使用一个箱子进行测试，其余 $k-1$ 个箱子用于训练。

3. 最终报告的结果是这 k 次实验的平均值。

1. 交叉验证
2. 单次训练-测试划分所存在的问题

1. 声音
   观察依据

   主讲人以 200 个数据点和 10 个箱子为例，并询问每个箱子中有多少个数据点。

2. 公式
   观察依据

   黑板上在方框中写出 200 = 数据集大小、$10 = k$ 和 20，然后用 20 标注各个箱子。

对于包含 200 个点的数据集，若将其划分为 10 个等大小箱子，则每个箱子包含 20 个数据点。

1. 整个数据集的大小为 200。

2. 箱子的数量为 10。

3. 箱子大小相等。

1. k 折交叉验证

1. 声音
   观察依据

   主讲人指出，交叉验证的关键在于多次运行该过程，然后对各次测试集的表现结果取平均。

2. 公式
   观察依据

   黑板上写着：这 k 次实验的测试结果平均值。

在完成k次独立实验后，对每次留出的测试集所测得的性能取平均值，从而得到整体的交叉验证估计。

1. 共有k个独立的测试结果，每个折次各产生一个。

1. k 折交叉验证

1. 公式
   观察依据

   黑板上列出了步骤：“运行k次独立的学习实验”、“——选取测试集”、“——训练”、“——在测试集上进行测试”以及“对这k次实验的测试结果取平均值”。

2. 声音
   观察依据

   说话人解释说，要运行k次独立的学习实验，并对测试结果取平均值。

该方法包含运行k次独立的学习实验：每次实验中，选取一个测试集，训练模型，然后在该特定测试集上进行测试；最后，对全部k次实验的测试结果取平均值。

1. 数据集必须被划分为k个子集或折。

1. 公式
   观察依据

   主讲人在黑板左侧写下“最短训练时间”、“最短运行时间”和“最高准确率”。

2. 声音
   观察依据

   主讲人将最小化训练时间、最小化训练后的运行时间以及最大化准确率列为优化目标。

在评估机器学习算法时，常见目标包括：最小化模型训练所需时间、最小化训练后进行预测所需的运行时间，以及最大化模型预测的准确率。

1. 声音
   观察依据

   说话者指出，这里存在一种固有的权衡关系：每个从训练集移入测试集的数据点，都会导致训练集损失该点。

对于固定的数据集，若通过将数据点从训练集移至测试集来扩大测试集，则训练集的规模必然减小。

1. 数据集被划分为训练子集和测试子集。

2. 数据点的总数是固定的。

每有一个数据点从训练集移至测试集。

1. 声音
   观察依据

   说话者解释道，在k折交叉验证中，需将数据划分为k个等大小的桶，运行k次独立的学习实验，每次用其中一个桶作为测试集，其余k-1个桶作为训练集，最后对k次测试结果取平均。

2. 公式
   观察依据

   黑板上列出了该流程：运行k次独立的学习实验；选定测试集；训练；在测试集上进行测试；对这k次实验的测试结果取平均。

k折交叉验证包括将数据划分为k个等大小的桶，然后对k次实验中的每一次，均使用其中一个桶作为测试集，其余k-1个桶作为训练集，执行训练与测试，并最终对k次测试结果取平均。

1. 该数据集可被划分为 k 个大小相等的区间。

2. 每次实验恰好使用一个预留的区间作为测试集。

对于这 k 个区间中的每一个，该区间均恰好被用作一次测试集。

1. 声音
   观察依据

   主讲人指出，对你的学习算法的评估将更加准确。

相比固定的训练/测试集划分，采用 k 折交叉验证能对学习算法做出更准确的评估。

1. 该算法通过 k 个相互独立的学习实验进行评估。

针对任意给定的数据集和学习算法。

1. 声音
   观察依据

   主讲人说：“你实际上既用全部数据进行了训练，又用全部数据进行了测试。”

在 k 折交叉验证中，所有可用数据均会在不同折次中被用于训练和测试。

1. 数据集被划分为 k 份。

在全部 k 次实验中。

1. 声音
   观察依据

   主讲人提问：如果你有200个数据点和10个区间，那么每个区间包含多少个数据点？并给出答案20。

2. 公式
   观察依据

   黑板上显示：200 = 数据集大小，$10 = k$，以及20（置于方框内）。

1. 公式

   $$200 = data set size$$
   解释

   该示例从一个包含200个数据点的数据集开始。

   步骤依据

   该信息直接出现在音频中，并写在黑板上。

   视频直接表达
2. 公式

   $$10 = k$$
   解释

   该示例使用10个区间。

   步骤依据

   该信息直接出现在音频中，并写在黑板上。

   视频直接表达
3. 公式

   $$20$$
   解释

   每个区间包含20个数据点。

   步骤依据

   主讲人口头陈述答案，并在黑板上写下20；其背后的运算是200除以10。

   视频直接表达

对于200个数据点，将其划分为10个等大小的组，每组包含20个数据点。

1. 声音
   观察依据

   讲解者以200个数据点和10个组为例，指出每组包含20个数据点。

2. 公式
   观察依据

   黑板上写出200＝数据集大小、10＝k，并将20写入方框，随后用20标记各组。

给定一个包含200个数据点的数据集，将其划分为10个等大小的组，求每组的数据点数量。

1. 数据集大小＝200

2. k 等于10

3. 各组大小相等

求每组中的数据点数量。

1. 公式

   $$200 = data set size$$
   解释

   使用题中给出的总数据集大小。

   步骤依据

   在示例中已给出。

   视频直接表达
2. 公式

   $$10 = k$$
   解释

   使用题中给出的组数。

   步骤依据

   例题中已给出。

   视频直接表达
3. 公式

   $$20$$
   解释

   每个分箱包含20个数据点。

   步骤依据

   通过将数据点总数平均分配到10个分箱中计算得出。

   视频直接表达

每个分箱20个数据点。

黑板上明确写出20，并用20标记各分箱。

1. 动画
   观察依据

   一只手书写蓝色标题“CROSS VALIDATION”并加下划线，然后书写黑色小标题“将数据划分为训练集与测试集存在的问题”。

1. 蓝色标题文字“CROSS VALIDATION”。

2. 黑色小标题“将数据划分为训练集与测试集存在的问题”。

1. 先书写标题。

2. 再在标题下方添加问题小标题。

1. 黑板保持白色背景，文字为手写体。

视觉序列通过指出单次训练-测试划分所存在的问题，确立了本节主题并引出后续讨论。

1. 动画
   观察依据

   画出一条长红色水平条，左侧部分为阴影区域并标注为“test”，右侧部分为点状区域并标注为“training”，两条绿色箭头分别从这两个区域向下延伸，并标注为“max”。

2. 动画
   观察依据

   讲解者用笔圈出“test”与“training”两部分之间的分界处。

1. 代表数据集的长红色条

2. 标注为“test”的阴影左段

3. 标注为“training”的点状右段

4. 标注为“max”的绿色箭头

5. 围绕划分边界的绿色圆圈

1. 画出数据集条。

2. 通过视觉方式区分测试部分与训练部分。

3. 箭头表示希望同时最大化这两部分。

4. 边界用圆圈标出，以强调其中的权衡关系。

1. 该竖条代表一个固定的数据集。

2. 这两部分合起来构成整个竖条。

该图表明：在单次划分中，扩大其中一个子集必然以缩小另一个子集为代价，因为数据集总长度是固定的。

1. 动画
   观察依据

   清空黑板，仅保留标题，然后绘制一条新的红色竖条，将其等分为若干段，并标上小写字母 k。

2. 动画
   观察依据

   写出示例数值：200 = 数据集大小，$10 = k$，以及20；随后呈现一个两行网格，每行五个可见方框，每个方框均标有20。

3. 动画
   观察依据

   左上角方框涂成绿色，写上 $k = 10$，并在下方添加步骤列表。

1. 尽管口述和书面示例中使用 $k = 10$，但每行仅 visibly 绘制了五个分箱。

1. 红色分段竖条

2. 红色小写字母 k

3. 文字：200 = 数据集大小

4. 文本 $10 = k$

5. 框出 20

6. 两行网格，可见的容器均标有 20

7. 左上角容器呈绿色阴影

8. 绿色与黑色的步骤列表

1. 单分割图被分段条形图替代。

2. 示例数字已写出。

3. 绘制了一个由等尺寸容器组成的网格。

4. 其中一个容器被高亮显示为测试集。

5. 算法步骤列于网格下方。

1. 所有可见容器均标注相同尺寸 20。

2. 被高亮的容器被单独指定为测试集，其余容器仍可用于训练。

该可视化模型展示了将数据等分为若干折的划分方式，以及k折交叉验证中重复使用的留出模式。

1. 动画
   观察依据

   白板内容突然从 k 折示意图切换为仅显示标题“交叉验证”的空白画面。

1. 白板内容

1. 先前的示意图和文字消失。

1. 标题“交叉验证”保留在顶部。

讲师清空白板，开始一项新的对比练习。

1. 动画
   观察依据

   主讲人分别在“训练/测试”列和“10-折交叉验证”列下方画小圆圈，并使这些圆圈与左侧列出的三个目标对齐。

1. 圆圈

2. 文字标签

1. 绘制六个圆圈，构成一个网格，用于为每个目标选择最佳方法。

1. 方法与目标的文字标签保持不变。

创建一个可视化矩阵，将评估目标映射到两种不同的验证方法上。

1. 声音
   观察依据

   主讲人指出，您希望同时最大化训练集和测试集，但二者存在固有取舍：每个被移入测试集的样本都会从训练集中丢失。

2. 公式
   观察依据

   黑板上在“测试”和“训练”下方均画出最大化的箭头，并圈出二者之间的分界线。

人们可能希望训练集和测试集都尽可能大。

在数据集大小固定的前提下，单次划分无法同时使两个子集都达到最大；增大其中一个必然导致另一个减小。

1. 声音
   观察依据

   主讲人说：“因此显然这会消耗更多计算时间，因为现在您必须运行……”

1. 该句子在完整后果陈述之前被截断。

与单次训练-测试划分相比，交叉验证可能被视为零成本操作。

视频明确指出，该方法会消耗更多计算时间，因为学习实验需重复运行多次。

1. 声音
   观察依据

   主讲人指出，交叉验证是对先前训练集与测试集思想的略微推广，随后解释了单次划分所存在的问题。

交叉验证被介绍为比简单的训练集-测试集划分框架更通用的方法。

1. 声音
   观察依据

   讲述者从通用术语“交叉验证”过渡到具体的k折交叉验证过程。

2. 公式
   观察依据

   板书将标题改为“k折交叉验证”，并列出了k步操作流程。

k折交叉验证是本片段中所描述的交叉验证的一种具体等分版本。

1. 声音
   观察依据

   在说明固有折衷关系后，讲述者指出这正是交叉验证发挥作用之处，随后定义了将数据划分为k个分箱的操作。

单次划分所存在的折衷关系，促使人们采用k折交叉验证中重复留出法这一方案。

1. 声音
   观察依据

   讲述者指出关键在于多次执行该过程，然后对各次测试集上的表现结果取平均值。

2. 公式
   观察依据

   板书先列出各次实验，再写出“对这k次实验的测试结果取平均值”。

对各折的测试结果取平均值，是k折交叉验证流程的一部分。

1. 公式
   观察依据

   主讲人并排写下列标题：'训练/测试' 和 '10折交叉验证'。

2. 声音
   观察依据

   主讲人请观众在'静态训练/测试方法'与'10折交叉验证'之间做出选择。

视频将静态训练/测试划分方法与k折交叉验证进行对比，展示二者是实现评估目标的两种不同途径。

1. 声音
   观察依据

   讲述者以名称“交叉验证”引出该概念。

1. 交叉验证

1. 声音
   观察依据

   讲述者解释了将数据划分为训练集和测试集时所面临的两难困境。

1. 单次训练-测试划分所存在的问题
2. 训练与测试之间的权衡

1. 声音
   观察依据

   主讲人描述了将数据划分为 k 个桶并运行 k 次实验的过程。

1. k 折交叉验证
2. 在折数上取平均

1. 声音
   观察依据

   主讲人以 200 个点、10 个桶的示例进行了演算。

1. 等大小箱子示例
2. 示例：200个点，10折

1. 声音
   观察依据

   主讲人指出，这会消耗更多计算时间，因为实验需运行多次。

1. 该句子在视频片段边界处未说完。

1. k 折交叉验证

1. 公式
   观察依据

   黑板上列出了k折交叉验证过程的确切步骤。

1. k折交叉验证的步骤

1. 公式
   观察依据

   黑板上列出了算法评估的三个主要目标。

1. 评估机器学习算法时的目标