普通最小二乘法入门及示例

1. 图示
   观察依据

   纵轴标注为“y〔吨〕”，副标题为“（土豆产量）”。

y

示例中观测到的响应变量，以吨为单位测量的土豆产量。

吨

1. 图示
   观察依据

   横轴标注为“$X_1$〔千克〕”，副标题为“（氮肥）”。

$X_1$

示例中的解释变量，以千克为单位测量的氮肥施用量。

千克

1. 图示
   观察依据

   纵轴上与一个蓝色数据点对齐的位置标有“$y_i$”。

2. 声音
   观察依据

   说话人说：“现在，对于每一对点，我们有两个值：y i 和 y i 帽。”

$y_i$

第 i 个数据点的实际观测值；在本例中，指使用特定量氮肥时实际获得的土豆产量。

吨

1. 图示
   观察依据

   纵轴上与所选数据点相同横坐标处的回归中线中点对齐的位置标有“$\hat{y}_i$”。

2. 声音
   观察依据

   说话人说：“而 y i 帽则是我们正在考虑的这个线性回归模型所预测的产量，即它认为应得或本应得到的产量。”

$\hat{y}_i$

由所选线性回归直线得出的第 i 个数据点的预测值或拟合值。

吨

1. 图示
   观察依据

   右侧图表的纵轴标注为 y [吨]（马铃薯产量）。

y

示例中观测到的响应变量，单位为土豆产量（吨）。

实数值形式的响应值。

1. 图示
   观察依据

   右侧图表的横轴标注为 $X_1$ [千克]（氮肥用量）。

$X_1$

示例中的预测变量，单位为氮肥（千克）。

实数值形式的预测值。

1. 图示
   观察依据

   散点图上的蓝色数据点对应标签 $y_i$。

2. 声音
   观察依据

   说话人说：“这就是我们的 $y_i$ 和 $y_i$ 帽。”

$y_i$

第 i 个数据点的实际观测值。

实数。

1. 图示
   观察依据

   拟合直线上灰色的点对应标签 $\hat{y}_i$。

2. 声音
   观察依据

   说话人提到“预测产量”，随后将其命名为“$y_i$ 帽”。

$\hat{y}_i$

回归直线对第 i 个数据点的预测值。

实数。

1. 公式
   观察依据

   屏幕文字定义残差：$\varepsilon_i = y_i - \hat{y}_i$。

2. 声音
   观察依据

   说话人说：“它们之间的差称为残差。”

$\varepsilon_i$

第 i 个观测值的残差，等于观测值与预测值之间的纵向差异。

实数。

1. 公式
   观察依据

   屏幕上显示方程：$\hat{y} = b_0 + b_1 X_1$。

2. 声音
   观察依据

   说话人称最优方程的参数为“$b_0$ 和 $b_1$”。

$b_0$

拟合的简单线性回归直线的截距参数。

实数。

1. 公式
   观察依据

   屏幕上显示方程：$\hat{y} = b_0 + b_1 X_1$。

2. 声音
   观察依据

   说话人称最优方程的参数为“$b_0$ 和 $b_1$”。

$b_1$

拟合的简单线性回归直线的斜率参数。

实数。

1. 公式
   观察依据

   屏幕文字显示：SUM($y_i - \hat{y}_i$)^2被最小化。

2. 声音
   观察依据

   说话人说：“残差的平方和被最小化。”

1. 所展示的公式使用SUM(...)，未明确写出求和上下限或下标记号。

SUM($y_i - \hat{y}_i$)^2

用于选取最优回归直线的残差平方和目标函数。

定义在所有数据点上的非负实值目标函数。

1. 声音
   观察依据

   说话人说：“因此，要回答这些问题，我们需要考察一种称为普通最小二乘法的方法。”

2. 图示
   观察依据

   幻灯片上出现文字“普通最小二乘法：”

视频将普通最小二乘法介绍为一种方法，用于从多条候选回归直线中选出一条，作为给定散点数据集的最优回归直线。

1. 讨论围绕如何从多条可能的直线拟合方案中，为一组数据点选择最合适的一条展开。

1. 声音
   观察依据

   说话人说：“从直观角度看，该方法的操作方式是：将我们的数据点垂直投影到所选的线性回归直线上。”

2. 动画
   观察依据

   从每个蓝色数据点向中间那条实线回归直线向上或向下画出虚线垂直线段。

在本导论部分，普通最小二乘法通过将每个观测点垂直投影到某条候选回归直线上进行直观呈现。该片段仅明确演示了对其中一条居中候选直线的投影操作，同时指出相同思路适用于所有正在被考虑的候选直线。

1. 本片段中的解释以直观方式展开，而非代数方式。

2. 实际上只展示了一条候选直线及其投影，尽管说话者指出该方法适用于所有候选直线。

1. 普通最小二乘法是本讨论所聚焦的方法

1. 声音
   观察依据

   说话者说：“现在对每一对数据点，我们有两个值：yᵢ 和 ŷᵢ。”

2. 图示
   观察依据

   y 轴上标有“$y_i$”和“$\hat{y}_i$”两个标签，分别与一个数据点及中间的回归直线对齐。

对于每个观测值，视频区分了实际响应值$y_i$与模型预测值$\hat{y}_i$。此处$y_i$是给定施肥量下观测到的土豆产量，而$\hat{y}_i$是所选回归直线在相同施肥量下预测的产量。

1. 适用于回归示例中的每一对观测数据。

2. 该比较是在相同的解释变量取值$X_1$处进行的。

1. $y_i$
2. $\hat{y}_i$

1. 图示
   观察依据

   幻灯片标题为“简单线性回归”，副标题为“普通最小二乘法：”。

该片段将普通最小二乘法引入为在简单线性回归情境中寻找最优直线的方法。视觉示例为一幅散点图，图中含一条拟合直线及若干条候选替代直线。

1. 一个预测变量。

2. 拟合直线所采用的线性模型形式。

1. 公式
   观察依据

   残差：$\varepsilon_i = y_i - \hat{y}_i$

2. 声音
   观察依据

   主讲人说：“它们之间的差异称为残差。”

3. 图示
   观察依据

   一个标有 $y_i$ 的蓝色点与一个标有 $\hat{y}_i$ 的灰色点，由一条虚线垂直线段连接。

对每个观测值而言，残差是实际观测值与回归直线预测值之间的垂直距离。在本例中，即蓝色数据点与拟合直线上对应灰色点之间的间隙。

1. 为每个数据点 i 定义。

2. 使用一个观测值 $y_i$ 和一条选定直线所给出的预测值 $\hat{y}_i$。

1. 主题框架：简单线性回归中的普通最小二乘法。

1. 公式
   观察依据

   $\hat{y} = b_0 + b_1 X_1$

2. 声音
   观察依据

   主讲人说：“这是我们的方程”，随后提到了参数 $b_0$ 和 $b_1$。

拟合预测值被写作单个预测变量的线性函数。其中 $b_0$ 是截距，$b_1$ 是乘以 $X_1$ 的斜率。

1. 单一预测变量 $X_1$。

2. 参数 $b_0$ 和 $b_1$ 定义了一条候选回归直线。

1. 主题框架：简单线性回归中的普通最小二乘法。

1. 公式
   观察依据

   SUM($y_i - \hat{y}_i$)^2 被最小化

2. 声音
   观察依据

   主讲人说：“残差的平方和被最小化”，并指出“这正是它被称为普通最小二乘法的原因”。

1. 幻灯片中写的是 SUM(...)，而非带完整下标索引的求和记号。

普通最小二乘法选择这样一条回归直线：其在所有数据点上的残差平方和尽可能小。主讲人明确将这一最小化准则与该方法的名称联系起来。

1. 在为每个数据点定义残差之后应用。

2. 用于比较不同的候选回归直线。

3. 最小化操作针对的是决定该直线的参数。

1. 残差的定义
2. 简单线性回归方程

1. 声音
   观察依据

   主讲人称该直线“绝不可能恰好穿过每一个数据点”，并称这是“根本不可能的”。

在本课所介绍的回归设定中，拟合出的直线并不预期恰好通过每一个观测数据点；实际值与预测值之间的差异是正常的。

1. 存在多个观测数据点。

2. 使用一条单一的直线回归线来概括这些数据点。

关于图示情境中所有数据点的普遍性陈述。

1. 声音
   观察依据

   说话者说：“我们要找到最佳直线”，并将其与差异的大小联系起来。

2. 公式
   观察依据

   SUM($y_i - \hat{y}_i$)^2被最小化

3. 声音
   观察依据

   说话者说：“对于哪条回归线，该值最小，那条线就是最佳回归线。”

在候选回归线中，使残差平方和最小的那条线被确定为建模该问题的最佳回归线。

1. 残差定义为 $y_i - \hat{y}_i$。

2. 候选直线使用同一数据集进行比较。

在本视频片段所考虑的候选回归线中。

1. 声音
   观察依据

   说话者提问如何判断哪一条带斜率的直线是最优的，并指出可以画出多条穿过数据点的带斜率直线。

2. 动画
   观察依据

   多条候选直线叠加在散点图上，包括一条较深色的居中直线，以及上下位置较浅色的若干替代直线。

1. 公式

   $$$$
   解释

   该片段以一幅散点图开始，图中展示了氮肥施用量与土豆产量之间的观测数据关系。

   步骤依据

   直接在图中显示，并在旁白中明确说明。

   视频直接表达
2. 公式

   $$$$
   解释

   多条斜率各不相同的直线穿过同一片散点云。

   步骤依据

   动画直观呈现了多条候选直线叠加在散点图上。

   视频直接表达
3. 公式

   $$$$
   解释

   由于存在多条可穿过数据的直线，视频由此引出问题：哪一条才是最佳线性回归直线？甚至，“最佳”又该如何定义？

   步骤依据

   由主讲人明确陈述。

   视频直接表达

众多候选回归直线的存在，凸显了建立正式选择方法的必要性；接下来将引入普通最小二乘法。

1. 声音
   观察依据

   主讲人介绍普通最小二乘法，并描述将数据点垂直投影到回归直线上的过程。

2. 动画
   观察依据

   垂直的虚线段将每个蓝色数据点连接至中间的实线（回归直线）。

1. 该片段尚未展示平方误差公式或最小化步骤。

2. 主讲人指出，该过程需对每条候选直线执行，但视觉上仅演示了一条直线。

1. 公式

   $$$$
   解释

   将普通最小二乘法作为判定哪条候选直线为最佳的方法予以引入。

   步骤依据

   在音频中直接陈述，并同步显示为幻灯片文字。

   视频直接表达
2. 公式

   $$$$
   解释

   选择一条候选回归直线作为示例，即中间那条直线。

   步骤依据

   讲解者说明，为简化起见，本教程将采用中间这条直线。

   视频直接表达
3. 公式

   $$$$
   解释

   对每个数据点，从该点向所选直线作一条垂直线段。

   步骤依据

   明确描述为将数据点垂直投影到回归直线上，并以虚线段示意。

   视频直接表达
4. 公式

   $$$$
   解释

   若需比较其他候选直线，可对任意其他候选直线重复相同的垂直投影思路。

   步骤依据

   该内容以口头方式陈述，但本片段中未完全动画呈现。

   视频直接表达

在本片段中，普通最小二乘法被介绍为一种方法，其基础是将观测点与其在回归直线上的垂直投影进行比较。

1. 声音
   观察依据

   讲解者通过一个数值实例定义$y_i$和$\hat{y}_i$：施用15千克氮肥时实际产量为2吨，而回归模型预测产量为1.5吨。

2. 图示
   观察依据

   水平参考线标出了y轴上$y_i$和$\hat{y}_i$所对应的刻度位置。

1. 高亮显示的点的精确x坐标并未在坐标轴上以数字形式标出；数值15千克源自讲解者口述的实例。

2. 本片段在明确将差值$y_i-\hat{y}_i$命名为“残差”之前即已结束。

1. 公式

   $$$$
   解释

   在散点图中任选一个观测点，并将其实际响应值记为$y_i$。

   步骤依据

   说话人指出，$y_i$是在施用特定量氮肥时农场实际产出的马铃薯数量。

   视频直接表达
2. 公式

   $$15\ \text{kg} \rightarrow 2\ \text{tonnes}$$
   解释

   在口述示例中，当施用了15千克氮肥时，农场实际产出了2吨马铃薯。

   步骤依据

   音频中直接陈述。

   视频直接表达
3. 公式

   $$$$
   解释

   在相同的肥料用量下，从所选回归线上读取对应数值，并将其记为$\hat{y}_i$。

   步骤依据

   说话人将$\hat{y}_i$定义为线性回归对产量的预测值。

   视频直接表达
4. 公式

   $$15\ \text{kg} \rightarrow 1.5\ \text{tonnes}$$
   解释

   对于相同的15千克氮肥输入量，回归线预测马铃薯产量为1.5吨。

   步骤依据

   音频中直接陈述。

   视频直接表达
5. 公式

   $$$$
   解释

   因此，该观测点的实际值与预测值存在差异。

   步骤依据

   说话人总结道：“如您所见，实际值与预测值之间存在微小差异”，随后片段结束。

   视频直接表达

该示例具体说明：在相同解释变量取值下，$y_i$是观测到的结果，而$\hat{y}_i$是模型的预测值，二者未必一致。

1. 声音
   观察依据

   从拟合不完美出发，连续口述讲解，依次引出残差定义与最小化准则。

2. 图示
   观察依据

   散点图，包含多条平行的候选直线以及对应的垂直残差线段。

3. 公式
   观察依据

   残差：$\varepsilon_i = y_i - \hat{y}_i$，且 SUM($y_i - \hat{y}_i$)^2 被最小化。

1. 这是一种直观推导方法，并非关于最优性的严格证明。

1. 公式

   $$$$
   解释

   从一个观察出发：单条直线无法精确穿过所有数据点，因此实际值与预测值存在差异。

   步骤依据

   说话人在视频片段开头直接陈述。

   视频直接表达
2. 公式

   $$\varepsilon_i = y_i - \hat{y}_i$$
   解释

   将每个点处的实际值与预测值之差命名为残差。

   步骤依据

   在屏幕上及口述中，于引入 $y_i$ 和 $\hat{y}_i$ 后定义。

   视频直接表达
3. 公式

   $$(y_i - \hat{y}_i)^2$$
   解释

   对每个残差进行平方，使比较基于平方差而非原始的带符号偏差。

   步骤依据

   说话人说：“我们需要对每一个数据点都将其平方。”

   视频直接表达
4. 公式

   $$SUM(y_i - \hat{y}_i)^2$$
   解释

   将所有数据点的平方残差相加，得到该候选直线的一个总体度量。

   步骤依据

   说话人说：“然后我们需要把它们加总求和。”

   视频直接表达
5. 公式

   $$$$
   解释

   选择使该聚合值最小的直线；这条直线被称为最佳回归直线。

   步骤依据

   讲话者指出，使该值最小的回归直线即为最佳回归直线。

   视频直接表达

普通最小二乘法选取使各数据点残差平方和最小的回归直线。

1. 声音
   观察依据

   说话人举例如下：施用15千克氮肥实际产出2吨马铃薯，而回归模型预测为1.5吨。

2. 图示
   观察依据

   坐标轴分别标注为“土豆产量（吨）”和“氮肥用量（千克）”，其中某一个数据点标有$y_i$和$\hat{y}_i$。

1. 数值15千克、2吨和1.5吨以语音形式呈现，未在屏幕上显示。

2. 该片段未显式计算残差值，也未对其平方。

利用屏幕上展示的简单线性回归设定，解释某一观测中实际值$y_i$与预测值$\hat{y}_i$的含义。

1. 响应变量是土豆产量（单位：吨）。

2. 解释变量是氮肥用量（单位：千克）。

3. 其中一个口述示例使用了15千克的氮肥。

4. 该示例中实际观测到的产量为2吨。

5. 所选的回归直线预测 1.5 吨，对应相同的 15 千克输入量。

在回归背景下识别并对比$y_i$与$\hat{y}_i$。

1. 公式

   $$y_i = 2\ \text{tonnes}$$
   解释

   所选施肥量对应的实际观测土豆产量被标识为$y_i$。

   步骤依据

   说话人直接陈述的农场实际产出量。

   视频直接表达
2. 公式

   $$\hat{y}_i = 1.5\ \text{tonnes}$$
   解释

   回归直线在相同施肥量下预测的值被标识为$\hat{y}_i$。

   步骤依据

   说话人直接陈述的线性回归所预测的产量值。

   视频直接表达
3. 公式

   $$$$
   解释

   在相同的$X_1$处比较这两个数值，可见模型预测值与实际观测结果存在差异。

   步骤依据

   说话人明确指出实际值与回归预测值之间存在微小差异。

   视频直接表达

对于该示例观测点，$y_i=2$吨是实际产量，而相同施肥水平下回归预测的产量为$\hat{y}_i=1.5$吨。

结论既符合说话人给出的数值示例，也与屏幕上高亮数据点处y轴上$y_i$位于$\hat{y}_i$上方的标注位置一致。

1. 图示
   观察依据

   右侧图表使用的坐标轴为 y [吨]（马铃薯产量）和 $X_1$ [千克]（氮肥用量）。

2. 声音
   观察依据

   讲话者提到“实际产量与预测产量”。

1. 视频片段中未提供任何数值坐标或拟合参数值。

利用马铃薯产量对氮肥施用量的散点图，解释普通最小二乘法如何选取回归直线。

1. 响应变量：y [吨]（马铃薯产量）。

2. 预测变量：$X_1$[千克]（氮肥施用量）。

3. 绘制了多个观测数据点。

4. 在数据点云中画出了若干条候选直线。

通过比较残差及其平方和，确定最佳拟合直线。

1. 公式

   $$$$
   解释

   将每个蓝色点读作实际观测到的产量 $y_i$，将同一点在候选直线上对应的灰色点读作预测产量 $\hat{y}_i$。

   步骤依据

   由带标签的图示直接呈现，并在语音中加以解释。

   视频直接表达
2. 公式

   $$\varepsilon_i = y_i - \hat{y}_i$$
   解释

   将每个观测点与直线之间的垂直距离作为残差来度量。

   步骤依据

   公式出现在屏幕上，并在音频中被命名。

   视频直接表达
3. 公式

   $$SUM(y_i - \hat{y}_i)^2$$
   解释

   将所有点的垂直距离的平方加总，以对候选直线进行评分。

   步骤依据

   幻灯片指出该量被最小化，说话人则描述了对残差进行平方并求和的过程。

   视频直接表达
4. 公式

   $$$$
   解释

   选择总和值最小的直线，作为该例中的最佳回归直线。

   步骤依据

   说话人在讲解接近尾声时明确指出。

   视频直接表达

本例中的最佳直线，是使观测马铃薯产量与该直线预测产量之间残差平方和最小的那条直线。

未展示数值验证；该片段通过多个候选直线的视觉对比，以及对最小二乘法则的口头说明，来验证这一思想。

1. 动画
   观察依据

   片头字幕依次显示课程品牌标识和主题标题“普通最小二乘法”。

2. 字幕依据
   观察依据

   清晰可读的文字包括：“本教程来自《PYTHON机器学习课程》”、“享受机器学习吧！”以及“普通最小二乘法”。

1. 蓝色几何图案背景

2. 课程标题文字

3. 主题标题“普通最小二乘法”

1. 课程品牌标识最先出现。

2. 主题标题“普通最小二乘法”替换了先前的课程文字。

1. 尚未显示任何数学图表。

该片段在进入回归示例前，先宣布本节主题为普通最小二乘法。

1. 图示
   观察依据

   出现一幅题为“简单线性回归”的散点图，纵轴标注为“$y$[吨]（马铃薯产量）”，横轴标注为“$X_1$[千克]（氮肥用量）”。

2. 动画
   观察依据

   在相同的一组蓝色数据点上叠加了若干条斜线。

1. 候选直线的确切数量未在口述中明确限定；视觉上呈现多条直线，其中一条居中且颜色较深，其余线条较浅。

1. 蓝色数据点

2. 马铃薯产量的纵轴

3. 氮肥用量的横轴

4. 多条不同斜率的直线

1. 最初仅显示散点图。

2. 随后叠加一条或多条候选直线，最终呈现围绕中间较粗直线的若干种不同拟合方案。

1. 数据点本身不发生移动。

2. 坐标轴标签保持不变。

该动画说明：同一组数据可以被多条不同的直线所拟合，从而引出选择最佳拟合直线的判定准则。

1. 动画
   观察依据

   从每个蓝色数据点向中间的实线回归线作虚线垂直线段。

2. 声音
   观察依据

   讲解者称：数据点被垂直投影到线性回归线上。

1. 该片段仅对中间那条候选直线展示上述构造过程，并未对每条候选直线都进行相同操作。

1. 蓝色数据点

2. 中间的实线回归线

3. 虚线垂直连接线段

1. 虚线线段从各点逐一或同时向选定直线延伸。

1. 用于投影的回归线在整个演示过程中始终保持为中间那条直线。

2. 各点在投影过程中其横坐标保持不变。

此图直观呈现了本片段所用的核心最小二乘思想：通过沿竖直方向移动至回归线，将每个观测值与其拟合值进行比较。

1. 图示
   观察依据

   y 轴上标有“$y_i$”和“$\hat{y}_i$”两个标签，并配有指示其对应水平位置的水平辅助线。

2. 声音
   观察依据

   讲解者说明，每一对点包含两个数值：$y_i$和$\hat{y}_i$。

1. 屏幕上未以索引形式标出当前高亮的数据点的具体名称。

1. 选中的蓝色数据点

2. 中间的回归线

3. 标签“$y_i$”

4. 标注“$\hat{y}_i$"

5. 水平参考线

1. y轴新增两个标签，分别与所选观测点和回归线对齐。

1. 所选点仍位于相同的$(X_1,y)$位置。

2. 回归线保持为同一条居中直线。

该图示将观测值与预测值之间的语言区分，转化为图表上可见的垂直分离。

1. 图示
   观察依据

   一幅静态散点图显示了蓝色数据点、一条较深色的中心拟合直线，以及位于其上下方的若干条较浅色的平行直线。

2. 图示
   观察依据

   垂直的虚线段将蓝色点连接到中心线上对应的灰色点。

1. 较浅色候选直线的确切数量约为围绕主直线可见的五条带/线。

1. 蓝色的观测数据点。

2. 中心线上对应的灰色预测点。

3. 深色的中心回归直线。

4. 较浅色的平行候选直线。

5. 垂直的虚线残差线段。

6. 坐标轴标注为 y〔吨〕（马铃薯产量）和 $X_1$〔千克〕（氮肥用量）。

1. 左侧公式逐步呈现，而右侧图表基本保持不变。

2. 视觉重点依次从整体散点图，转移到某一个点的残差间隙，再转移到最小化表述。

1. 数据点位置保持固定。

2. 坐标轴和示例背景在整个教学幻灯片中保持不变。

该图对比了同一组数据的多种可能直线拟合方式，并用垂直间距表示残差，其平方和需被最小化。

1. 图示
   观察依据

   教学幻灯片被一张深蓝色结束卡片取代，卡片上印有订阅信息和课程文字。

1. 深蓝色背景。

2. 文字：点击此处订阅。

3. 文字：感谢观看！

4. 文字：请通过简介中的链接访问完整课程。

5. SuperDataScience 徽标。

1. 数学内容消失，取而代之的是宣传性质的结束卡片文字。

1. 过渡之后不再引入任何进一步的数学解释。

该时间段内除课程结束外，不包含任何额外数学内容。

1. 声音
   观察依据

   主讲人提问：“我们如何知道哪一条斜线是最优的？”并指出，可以画出多条穿过数据点的斜线。

2. 动画
   观察依据

   同一散点图上展示了若干条不同的直线。

人们可能认为一组数据点天然对应唯一一条自然的回归线。

视频明确展示了多条候选斜线穿过相同的数据点，并利用这种不确定性，引出普通最小二乘法作为一种选择标准。

1. 声音
   观察依据

   主讲人将普通最小二乘法介绍为回答“哪条直线最优”这一问题所需的方法。

2. 动画
   观察依据

   从数据点向选定的直线作垂直投影。

1. 该片段尚未以公式形式完整陈述最小化准则。

有人可能认为普通最小二乘法就是简单地选择一条看起来合理的直线。

在此节选中，普通最小二乘法被呈现为一种系统性比较方法：将观测值垂直投影到回归直线上，而非随意凭目测选择。

1. 声音
   观察依据

   主讲人分别将$y_i$定义为实际数值，将$\hat{y}_i$定义为回归模型的预测值。

2. 图示
   观察依据

   两个不同的纵轴标签“$y_i$”和“$\hat{y}_i$”显示在不同高度上。

有人可能混淆实际数据值与模型预测值。

视频区分了$y_i$（观测结果）与$\hat{y}_i$（回归预测），并给出一个数值示例说明二者不同（2吨 versus 1.5吨）。

1. 声音
   观察依据

   说话人称，直线“永远不可能做到完全”且“纯粹不可能”经过每一个数据点。

人们可能认为，最佳回归直线应当精确匹配每一个观测数据点。

视频明确指出，一条直线通常无法完美地穿过每一个数据点；残差是正常现象，该方法转而最小化残差的平方和。

1. 声音
   观察依据

   说话人强调，在将残差相加之前需先对它们进行平方。

2. 公式
   观察依据

   SUM($y_i - \hat{y}_i$)^2被最小化。

1. 视频并未将此列为一个命名的误解；本条是对原始带符号差值与平方差值之间隐含对比的概括。

人们可能认为，最佳直线只需简单地最小化原始差值 $y_i - \hat{y}_i$。

片段明确指出，普通最小二乘法最小化的是残差的平方和，而非未平方的带符号差值。

1. 声音
   观察依据

   主讲人首先提问：如何判断哪条斜线最优？随后指出，普通最小二乘法正是回答这类问题所需的方法。

普通最小二乘法被引入为解决“在多个候选回归直线中进行选择”这一问题的方法。

1. 声音
   观察依据

   主讲人通过将数据点垂直投影到回归线上来解释普通最小二乘法。

2. 动画
   观察依据

   虚线垂直线段将各点连接至中间那条直线。

这种垂直投影的构造方式，是本片段解释普通最小二乘法的一部分。

1. 声音
   观察依据

   主讲人指出$\hat{y}_i$是线性回归所预测的产量值。

2. 图示
   观察依据

   $\hat{y}_i$被标在y轴上，其高度对应于所选数据点处回归线的高度。

本片段中$\hat{y}_i$的含义取决于该数据点向所选回归线所作的垂直投影。

1. 声音
   观察依据

   主讲人将$y_i$作为实际数值，与作为预测数值的$\hat{y}_i$进行对比。

2. 图示
   观察依据

   两个标签同时显示，但位于不同高度。

本片段明确对比了观测值$y_i$与拟合值（或预测值）$\hat{y}_i$。

1. 公式
   观察依据

   残差：$\varepsilon_i = y_i - \hat{y}_i$ 出现在 SUM($y_i - \hat{y}_i$)^2被最小化之前。

2. 声音
   观察依据

   说话人首先定义残差，然后解释对这些残差进行平方并求和。

最小二乘目标函数的定义，首先需要明确每个数据点的残差是什么。

1. 公式
   观察依据

   $\hat{y} = b_0 + b_1 X_1$ 出现在最小化语句之前。

2. 声音
   观察依据

   主讲人先引入该方程，然后指出：使残差平方和最小的参数 $b_0$ 和 $b_1$ 所确定的方程即为最优方程。

通过最小二乘法选择 $b_0$ 和 $b_1$，是以 $\hat{y}$ 满足线性回归方程为前提的。

1. 图示
   观察依据

   幻灯片标题为“简单线性回归”，副标题为“普通最小二乘法：”。

该片段将普通最小二乘法呈现为简单线性回归这一更广泛主题所包含的方法。

1. 声音
   观察依据

   主讲人提问：哪一条斜线是最优的？并指出可以画出多条穿过数据点的直线。

2. 动画
   观察依据

   多条候选直线叠加显示在散点图上。

1. 引入最优回归直线判定准则的必要性
2. 普通最小二乘法是本讨论所聚焦的方法

1. 声音
   观察依据

   主讲人指出，普通最小二乘法通过将数据点垂直投影到回归线上来实现。

2. 动画
   观察依据

   虚线垂直线段将各数据点连接至中间那条直线。

1. 普通最小二乘法是本讨论所聚焦的方法
2. 本片段中普通最小二乘法的直观规则
3. 本片段以可视化方式推导普通最小二乘法的核心思想。

1. 声音
   观察依据

   主讲人将$y_i$定义为：在某一特定施肥量下实际收获的马铃薯产量。

2. 图示
   观察依据

   标签“$y_i$”与y轴上的一个数据点对齐。

1. $y_i$
2. 实际值与预测值之间的区别
3. 土豆产量与氮肥用量的示例

1. 声音
   观察依据

   主讲人将$\hat{y}_i$定义为：线性回归所预测的产量值。

2. 图示
   观察依据

   标签“$\hat{y}_i$”与y轴上中间那条回归直线对齐。

1. $\hat{y}_i$
2. 实际值与预测值之间的区别
3. 土豆产量与氮肥用量的示例

1. 声音
   观察依据

   主讲人举了这样一个例子：施用15千克氮肥，实际产量为2吨，预测产量为1.5吨。

1. 这些数字是口述出来的，并未显示在屏幕上。

1. 土豆产量与氮肥用量的示例
2. 对符号$y_i$和$\hat{y}_i$进行了逐步解释。

1. 声音
   观察依据

   讲解者指出，该过程会对每条候选直线都执行，但为简化起见，本教程仅使用中间那条直线。

2. 动画
   观察依据

   只有中间直线接收虚线形式的垂直投影。

1. 本片段中普通最小二乘法的直观规则
2. 本片段以可视化方式推导普通最小二乘法的核心思想。

1. 公式
   观察依据

   残差：$\varepsilon_i = y_i - \hat{y}_i$

2. 声音
   观察依据

   主讲人说，实际产量与预测产量之间的差异称为残差。

1. 残差的定义

1. 公式
   观察依据

   SUM($y_i - \hat{y}_i$)^2 被最小化

2. 声音
   观察依据

   主讲人说：“这正是它被称为普通最小二乘法的原因。”

1. 普通最小二乘法的目标

1. 声音
   观察依据

   主讲人指出，残差平方和最小的回归线是最优回归线。

2. 公式
   观察依据

   SUM($y_i - \hat{y}_i$)^2被最小化

1. 普通最小二乘法的目标
2. 普通最小二乘法下的最佳回归线

1. 声音
   观察依据

   主讲人指出，该直线永远不会恰好穿过每一个数据点。

1. 回归直线通常不会穿过每一个数据点。
2. 期望回归直线经过每一个数据点