数学建模 / 英语

最小二乘逼近

MIT OpenCourseWare · YouTube · 8:04

YouTube · MIT OpenCourseWare原视频

选中时刻 · 2:00 · 章节点是时间参考，不表示实时播放进度。

视频中的要点

01最小二乘逼近问题的设定
02过原点的二次函数没有常数项
03矩阵形式化的第一步

来自学习笔记

ct + dt^2 = y

过原点的二次函数没有常数项

选中时刻

问题陈述与矩阵构建

建议预备知识

二次函数
基本矩阵记号
用曲线拟合数据的概念
基本的矩阵-向量乘法
线性方程组
子空间与列空间的概念
到子空间的投影
矩阵转置
矩阵-向量乘法与矩阵-矩阵乘法
不相容的线性方程组
通过正规方程构造最小二乘问题
矩阵乘法
高斯消元法
最小二乘近似的基本概念
矩阵乘法
法方程
多项式拟合

阅读与收藏

把讲解展开来看。

已审核学习内容 · 视频分析 · 中文

阅读完整概览

本120-第二段视频是麻省理工学院线性代数习题课中关于最小二乘逼近的内容。在标题页之后，教师呈现了一个例题：求一条过原点的二次曲线，使其最佳拟合点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。他首先说明所求模型的形式为 $ct+dt^2=y$ ，因为过原点迫使常数项为零。接着，他进入下一步——建立矩阵方程，并开始构造设计矩阵 $A$ ，将第一坐标 $1,2,-1$ 填入其第一列。该片段在完整矩阵系统及最终最小二乘解完成之前结束。这段120秒的白板片段引入了一个过原点的二次函数 $ct+dt^2=y$ 的最小二乘逼近问题，该函数需拟合三点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。教师构建了矩阵方程 $A\widehat{x}=b$ ，其中包含 $A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 、 $\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ 和 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ ，并逐行解释该方程如何编码将各数据点代入模型的过程。他指出，精确方程组无解，因为不存在一个过原点的二次函数能同时经过全部三个点；于是将任务重新表述为求解 $A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)}b$ 。本片段在任何数值型最小二乘解被计算之前即结束。这段时长为120秒的白板片段，为模型 ct + $dt^2 = y$ 建立了一个最小二乘问题，其中 $A = [[1, 1], [2, 4], [-1, 1]]$ ， $\hat{x} = [[c], [d]]$ ，且 $b = [[1], [5], [-2]]$ 。白板上已标出 $A\hat{x}=b$ 不可解，教师指出实际任务是求解法方程 $A^T A \hat{x} = A^T b$ 。随后他计算得 $A^T A = [[6, 8], [8, 10]]$ 与 $A^T b = [[13], [19]]$ ，并在过程中修正了一处符号位置错误，最后写出具体方程组 [[6, 8], [8, 10]] $\hat{x} = [[13], [19]]$ 。该片段未进一步求出 $\hat{x}$ 的值。这段时长为120秒的白板讲解完成了一个过原点的二次最小二乘拟合示例。从已算出的正规方程 $A^T A\widehat{x}=A^T b$ 出发，教师对 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 施行行变换 $R_2\leftarrow 3R_2-4R_1$ ，得到三角方程组 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ ，再通过回代求得 $d=-5/2$ 和 $c=11/2$ 。随后他将拟合方程 $y=11/2 t-5/2 t^2$ 加框，并称其为过原点的最佳拟合二次曲线，最后回顾整个工作流程：确定标量模型、写出 A 和 b、建立投影方程、进行计算。片段结尾强调：数据点无需落在最小二乘曲线上；在 $t=1$ 处，拟合结果为 3，而非观测值 1。該視頻片段展示了最小二乘解法過程的最終黑板呈現，包括矩陣方程以及擬合方程 y 等於十一分之二 t 減五分之二 t 平方，講師以「謝謝」結束講解。

在学习检查器中查看要点和时刻，或切换阅读标签查看完整笔记。

章节

0:00标题页：最小二乘逼近 0:08黑板上的问题陈述 0:51选择过原点的二次模型 1:26开始建立矩阵方程 2:00问题陈述与矩阵构建 2:26将

A\widehat{x}=b

的各行与数据点逐一核对 3:20为何精确方程组不可解 3:45最小二乘法作为向列空间的投影 4:00不可解的方程组与法方程 4:33计算

A^T A

5:20计算

A^T b

5:47代入完成后的

2 \times 2

方程组 6:00黑板上写着正规方程 6:05消元步骤 6:20回代求解 d 和 c 6:40最终框出的二次拟合方程 7:10最小二乘法流程回顾 7:43验证数据点无需落在拟合曲线上 8:00最小二乘結果的最終展示

学习解说文稿

依据视频画面与讲解整理，并非逐字语音转写。

视频片段以麻省理工学院18.06SC线性代数课程标题页开场，主题为“最小二乘逼近”。这表明本片段是一个例题演算，而非定理讲解课。

画面切换至黑板上的问题陈述：求一条过原点的二次方程，使其在最小二乘意义下最佳拟合三点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。教师朗读题目，并邀请观众暂停视频，先自行尝试求解。

回到解题过程，他指出第一步是确定待拟合方程的形式。他写出 $ct + dt^2 = y$ ，其中 $c$ 和 $d$ 为待定系数， $t$ 和 $y$ 分别为输入变量与输出变量。

接着他解释为何不含常数项：一般二次式本应包含常数项，但要求曲线过原点，迫使该常数项为零。这说明了限定模型 $ct+dt^2=y$ 的合理性。

随后，他指出应将该问题转化为矩阵方程。他开始书写矩阵 $A$ ，并说明第一列将包含三个数据点的横坐标。

当他填写矩阵时，可见的第一列变为 $1$ 、 $2$ 和 $-1$ ，对应于点 $t$ 的 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 的 -值。该片段在第二列和完整的最小二乘方程组完成之前结束。

片段起始时，黑板左侧已呈现一个完整的拟合问题：求一个过原点的二次函数，使其最佳拟合三点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。右侧已写出模型 $ct+dt^2=y$ ，教师完成矩阵形式的组装。他指出， $A$ 的第二列由第一坐标的平方构成，对应元素为 $1$ 、 $4$ 和 $1$ ，因此设计矩阵变为 $A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 。接着，他将未知向量定义为 $\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ ，观测向量定义为 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ ，后者取自三个点的第二坐标。

接下来，他通过检验 $A\widehat{x}$ 表示按行进行。将第一行相乘得到 $1\cdot c+1\cdot d$ ，这恰好等于将点 $(1,1)$ 代入 $ct+dt^2=y$ 的左边所得结果。第二行给出 $2c+4d$ ，与将 $(2,5)$ 代入的结果一致，因为 $t=2$ 且 $t^2=4$ 。同理，第三行对应于点 $-c+d$ 的 $(-1,-2)$ 。向量 $b$ 提供了右边的值 $1$ 。 $5$ ，以及 $-2$ ，因此单个矩阵方程 $A\widehat{x}=b$ 正是三个尝试拟合点的方程的紧凑形式。

在确立上述对应关系后，教师指出其中的障碍：该精确方程组不可解。他在黑板上写下无法求解 $A\widehat{x}=b$ ，并口头解释道：不存在一个过原点的二次函数能同时经过所有三个给定点。因此，原始目标必须从精确拟合转向最小二乘意义下的最佳逼近。

本片段最后提出的概念，是对该最佳逼近的几何重构。由于形如 $A\widehat{x}$ 的所有向量均位于 $A$ 的列空间中，故最接近 $b$ 的可实现右端项，即为 $b$ 在 $\operatorname{Col}(A)$ 上的投影。于是最小二乘问题被重写为 $A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)}b$ 。该段落结束于教师刚提及此前讲过的投影内容之时，尚未展示进一步的代数推导或数值求解过程。

该片段开始时，白板上已显示模型 $ct+dt^2=y$ 、矩阵 $A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 、 $\hat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ 和 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ ，并注明 $A\hat{x}=b$ 无法直接求解。

教师接着说明本最小二乘问题的替换规则：不求解这个不相容的方程组，而是求解法方程 $A^TA\hat{x}=A^Tb$ 。

他从写出 $A^TA=\begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 开始进行计算。

在此步骤中，他发现转置矩阵中某处负号位置有误，于是擦除错误项，并在继续前予以更正。

在修正后的因子就位后，他计算乘积并写出 $A^TA=\begin{pmatrix}6&8\\8&10\end{pmatrix}$ 。

接下来，他将右侧向量变换后计算为 $A^Tb=\begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix}$ 。

他计算该乘积，得到 $A^Tb=\begin{pmatrix}13\\19\end{pmatrix}$ 。

最后，他将两个已算出的块代回正规方程，得到具体的方程组 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 。

这段摘录止步于此；它并未继续求解 $\hat{x}$ ，也未给出 $c$ 和 $d$ 的数值。

视频片段从黑板右侧开始，此时最小二乘设定已计算完毕： $A^T A = \begin{pmatrix}6&8\\8&10\end{pmatrix}$ 且 $A^T b = \begin{pmatrix}13\\19\end{pmatrix}$ 。教师指向正规方程组 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ ，并说明该方程组可通过消元法求解。

他执行了一次明确的行运算：将第二行替换为 3 倍的第二行减去 4 倍的第一行。此操作旨在消去左下角的 8，同时保持方程组等价。随后黑板上显示化简后的三角形方程组 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ 。

由于方程组现已呈三角形，他进行回代求解。第二个方程给出 -2d = 5，因此 $d = -5/2$ 。将该值代入第一个方程，得 $c = 11/2$ 。这两个系数值被写在黑板上方程组下方。

接着，教师构建模型。由于拟合是过原点的二次函数，其标量形式为 ct + $dt^2 = y$ 。代入 $c = 11/2$ 与 $d = -5/2$ ，得到最终方程 $y = 11/2 t - 5/2 t^2$ ，他将其清晰写出并加框突出显示。

他指出该加框结果即为过原点的最佳二次拟合方程。这一表述表明模型不含常数项，因此拟合曲线按构造必经过点 (0,0)，尽管它仅是对数据的近似。

镜头向左平移至先前的设定黑板，其上可见通用流程：ct + $dt^2 = y$ ， $A = \begin{pmatrix}1&2\\2&4\\-1&1\end{pmatrix}$ ， $\widehat{x} = \begin{pmatrix}c\\d\end{pmatrix}$ ，以及 $b = \begin{pmatrix}5\\1\\-2\end{pmatrix}$ 。其旁并列着两句话：‘无法求解 $A\widehat{x} = b$ ’ 与 ‘实际求解 $A^T A\widehat{x} = A^T b$ ’。

借助左侧黑板，他将该方法归纳为三个步骤：首先确定拟合方程的一般标量形式；其次将问题重写为含矩阵 A 与向量 b 的矩阵形式；最后建立投影方程或正规方程。此后，其余工作均为计算。

回到解释部分，他指出三个数据点不必落在拟合的二次曲线上。例如，在 $t=1$ 处，拟合给出 $y=3$ ，而非匹配观测值 1。他将这种偏差视为最小二乘近似下的预期行为，而非错误。

视频结尾，讲师总结了最小二乘法的讲解。黑板清晰展示了完整的求解过程：首先，矩阵乘法得到 A 转置 b 为十三十九转置；接着写出正规方程：六八；零负二乘以 x 帽等于十三五转置。解出系数后，常数 c 等于十一分之二，标注在黑板左下角。最后，拟合的二次多项式方程 y 等于十一分之二 t 减五分之二 t 平方在黑板底部框内高亮显示。讲师随后说道‘谢谢’。

知识卡片

最小二乘逼近问题的设定

本片段在线性代数中引入一个具体的最小二乘拟合问题。任务并非精确插值，而是寻找一条过原点的二次曲线，使其在最小二乘意义下最佳拟合给定的三个数据点。

过原点的二次函数没有常数项

教师选择了模型 $ct+dt^2=y$ 。常数项缺失的原因是曲线必须经过原点；等价地说，将 $t=0$ 和 $y=0$ 代入后迫使常数项为零。

ct + dt^2 = y

矩阵形式化的第一步

修正模型后，下一步是为未知系数构建一个矩阵方程。讲师开始构造设计矩阵 $A$ ，将输入坐标 $t=1,2,-1$ 填入第一列，为完整的最小二乘方程组做准备。

A = \left( \begin{array}{c} 1 \\ 2 \\ -1 \end{array} \right)

过原点的二次函数拟合模型

题目要求形如 $ct+dt^2=y$ 且过原点的最佳拟合曲线，以拟合点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。其中 $t$ 表示数据点的第一个坐标， $y$ 表示第二个坐标，而 $c,d$ 是待确定的未知系数。

ct+dt^2=y

三个数据点对应的设计矩阵

为了将拟合问题转化为线性代数问题，教师构建了一个矩阵，其每一行对应每个数据点的 $(t,t^2)$ 。对给定数据，该矩阵的第一列为 $1,2,-1$ ，第二列为 $1,4,1$ 。

A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}

未知向量与观测向量

未知系数向量为 $\widehat{x}=(c,d)^T$ ，而右侧向量由三个数据点的观测 $y$ 坐标构成。

\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix},\quad b=\begin{pmatrix}1\\5\\-2\end{pmatrix}

$A\widehat{x}=b$ 的逐行含义

矩阵方程的每一行都复现了一个代入后的数据点方程：第一行给出 $c+d=1$ ，第二行给出 $2c+4d=5$ ，第三行给出 $-c+d=-2$ 。这表明 $A\widehat{x}=b$ 正是试图让二次函数经过全部三个点的所有尝试的集合。

\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}\begin{pmatrix}c\\d\end{pmatrix}=\begin{pmatrix}1\\5\\-2\end{pmatrix}

为何精确方程组无解

教师明确指出，不存在一个过原点的二次函数能同时经过全部三个点，因此该精确线性方程组无解。正因如此，该问题必须作为最小二乘近似来处理，而非精确插值。

最小二乘法即向列空间投影

由于 $A\widehat{x}$ 只能生成 $A$ 的列空间中的向量，因此对不相容的 $b$ 的最佳逼近，是将 $b$ 替换为其在 $\operatorname{Col}(A)$ 上的投影。因此，该片段将任务重新表述为求解这个投影后的方程组。

A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)} b

正规方程用于替代一个无解的方程组。

黑板上先在 $A\hat{x}=b$ 旁标注‘无法求解’，随后写下‘实际求解’并紧接 $A^TA\hat{x}=A^Tb$ 。在此片段中，教师将正规方程呈现为：一旦直接方程组被判定为不相容，就真正需要求解的最小二乘问题。

A^T A \hat{x} = A^T b

例题中的具体矩阵

该例题使用了 $A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 、 $\hat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ 和 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ ，其上方写有模型 $ct+dt^2=y$ 。这些是后续片段中持续操作的对象。

A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix},\quad \hat{x}=\begin{pmatrix}c\\d\end{pmatrix},\quad b=\begin{pmatrix}1\\5\\-2\end{pmatrix}

计算 $A^T A$

教师构造 $A^TA$ 通过相乘 $\begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}$ 和 $\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 。在修正了一个符号位置错误后，他将结果写为 $\begin{pmatrix}6&8\\8&10\end{pmatrix}$ 。

A^T A = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix} = \begin{pmatrix}6&8\\8&10\end{pmatrix}

计算 $A^T b$

正规方程的右端由 $A^Tb=\begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix}$ 得出。教师计算该乘积，并写出列向量 $\begin{pmatrix}13\\19\end{pmatrix}$ 。

A^T b = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix} = \begin{pmatrix}13\\19\end{pmatrix}

最终代入后的最小二乘方程组

在计算出两个乘积后，讲座将正规方程重写为显式的 $2\times2$ 线性方程组 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 。该片段在求解该方程组以得到 $\hat{x}$ 之前结束。

\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}

书写 $A^T$ 时的符号位置误区

在构建 $A^TA$ 的过程中，讲师意识到自己将负号写在了转置矩阵中的错误位置，于是将其擦除，并在继续讲解前修正了该元素。这是对矩阵乘法中谨慎抄录操作的一次明确板书警示。

黑板上展示的正规方程

该例题从已计算出的最小二乘系统 $A^T A\widehat{x}=A^T b$ 出发。在黑板上，这是具体的 $2\times 2$ 系统 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ ，即视频片段中实际求解的对象。

A^T A\widehat{x}=A^T b

用于将系统化为三角形的消元步骤

为求解正规方程，教师应用了一次行变换：将第二行替换为 3 倍的第二行减去 4 倍的第一行。这一操作将系统转化为上三角形式，同时将右侧向量由 (13,19)^T 更新为 (13,5)^T。

R_2\leftarrow 3R_2-4R_1

回代得出系数

由简化后的系统可知，第二个方程直接给出 $d=-5/2$ ；将该结果代入第一个方程，得 $c=11/2$ 。这两个值即为所拟合二次模型的系数。

d=-\frac{5}{2},\quad c=\frac{11}{2}

最终拟合的、过原点的二次函数

将求得的系数代入模型 ct+ $dt^2=y$ ，得到框出的答案 $y=11/2 t-5/2 t^2$ 。教师明确将其描述为过原点的最佳拟合二次方程。

y=\frac{11}{2}t-\frac{5}{2}t^2

最小二乘法工作流程回顾

左侧黑板总结了更通用的方法：从一般标量形式出发，借助矩阵 A 和 b 转化为矩阵形式，再求解正规方程，而非求解不相容的直接方程组 $A\widehat{x}=b$ 。

ct+dt^2=y,\quad A\widehat{x}\neq b\ \text{directly},\quad A^T A\widehat{x}=A^T b

最小二乘拟合未必经过数据点

结语强调了一个重要的概念要点：拟合曲线是一种近似，而非插值函数。在本例中，将 $t = 1$ 代入拟合曲线得到 $y = 3$ ，而非观测值 1，而这对最小二乘拟合而言是完全可以接受的。

y(1)=3\neq 1

最小二乘拟合方程

求解法方程 A 转置 A x 帽等于 A 转置 b，可得最小二乘拟合的系数。视频展示了该计算过程，并最终得出拟合曲线方程。

y = \frac{11}{2}t - \frac{5}{2}t^2

详细学习笔记

按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。

符号定义 · 36

c

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说该方程将形如“ct 加 dt 的平方等于 y”
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

符号

含义

二次模型中线性项 $t$ 所乘的未知系数。

适用范围

最小二乘问题中待求解的标量未知数。

d

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说该方程将形如“ct 加 dt 的平方等于 y”
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

符号

含义

模型中二次项 $t^2$ 所乘的未知系数。

适用范围

最小二乘问题中待求解的标量未知数。

t

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说该方程将形如“ct 加 dt 的平方等于 y”
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

符号

含义

二次方程中的自变量（输入坐标）。

适用范围

实数值输入；本例中它取给定点对应的值 $1$ 、 $2$ 和 $-1$ 。

y

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说，该方程将形如“ct 加 dt 的平方等于 y”。
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

符号

含义

待由二次模型近似的因变量（输出坐标）。

适用范围

实数值输出；在本例中，它取给定点处的值 $1$ 、 $5$ 和 $-2$ 。

A

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：“接下来我们需要建立一个矩阵方程，因此需要一个矩阵 A。”
公式
观察依据
他写下 $A=$ ，后接大括号，并开始填写第一列。

待核验内容

完整矩阵在所提供的片段中未完成。

符号

含义

最小二乘系统的设计矩阵 $A\begin{bmatrix}c\\d\end{bmatrix}=y$ 。

适用范围

其第一列正被填入数据点的 $t$ 坐标所构成的矩阵。

ct+ $dt^2=y$

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板顶部展示了模型形式 $ct+dt^2=y$ 。

符号

ct+ $dt^2=y$

含义

以过原点的二次方程作为拟合模型，其中未知系数为 $c$ 和 $d$ 。

适用范围

$t$ 是一个数据点的第一个坐标， $y$ 是第二个坐标； $c,d$ 是待确定的标量系数。

A

依据清楚

视频直接表达

来源依据

公式
观察依据
教师在黑板上写下 $A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$ 。
声音
观察依据
他指出第二列是第一列坐标的平方，得到 $1$ 、 $4$ 和 $1$ 。

符号

含义

设计矩阵，其第一列为数据点的 $t$ 值，第二列为这些值的平方。

适用范围

一个 $3\times 2$ 阶实矩阵。

$\widehat{x}$

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示 $\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ 。
声音
观察依据
他说：“我的x帽，就是c和d。”

符号

$\widehat{x}$

含义

包含二次拟合参数的未知系数向量。

适用范围

一个 $2\times 1$ 维实向量。

b

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ 。
声音
观察依据
他说这将是第二坐标： $1$ 、 $5$ 和负 $2$ 。

符号

含义

由所给三个点的 $y$ 坐标构成的右侧向量。

适用范围

一个 $3\times 1$ 维实向量。

(1,1), (2,5), (-1,-2)

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板左侧写明了针对点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 的问题。

符号

(1,1), (2,5), (-1,-2)

含义

需用一条过原点的二次曲线拟合的三个数据点。

适用范围

平面上横坐标为 $t$ 、纵坐标为 $y$ 的点。

column space of A

依据清楚

视频直接表达

来源依据

声音
观察依据
他说，求最佳逼近等价于求解 $A\widehat{x}$ 等于 $b$ 在 $A$ 的列空间上的投影。

符号

column space of A

含义

$A$ 的列张成的空间，即所有可表示为 $A\widehat{x}$ （其中 $\widehat{x}$ 为某向量）的向量的集合。

适用范围

$\mathbb{R}^3$ 的一个子空间。

A

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上一开始显示 $A = [[1, 1], [2, 4], [-1, 1]]$ ，并在后续计算 $A^T A$ 和 $A^T b$ 时再次使用该矩阵。

符号

含义

将超定线性方程组的系数矩阵替换为最小二乘问题。

适用范围

A 是一个 $3 \times 2$ 的实矩阵。

知识点 · 18

主题：最小二乘近似

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：“今天我们来做一个关于最小二乘近似的问题。”
字幕依据
观察依据
标题幻灯片显示“最小二乘近似”。

定义

解释

本片段介绍了一个最小二乘逼近的例题，具体是用二次曲线拟合若干数据点。

公式

适用条件

该视频以问题求解的形式呈现，而非正式定义式的讲授。

过原点的二次模型

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：“我们的方程将形如 ct 加 dt 平方等于 y”，并解释“过原点”意味着常数项为零。
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

公式

解释

所拟合的二次式不包含常数项，因为该曲线必须经过原点；待求的未知量是系数 $c$ 和 $d$ 。

公式

ct + dt^2 = y

适用条件

该模型必须经过原点。
一般形式中的常数项被省略，因为它必须等于零。

过原点的二次函数最小二乘拟合问题

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上写着：求一条过原点的二次方程，使其对点 $(1,1)$ 、 $(2,5)$ 、 $(-1,-2)$ 具有最佳拟合效果。
公式
观察依据
模型方程 $ct+dt^2=y$ 写在矩阵上方。
声音
观察依据
教师解释说，第二列是第一坐标的平方，而 $b$ 使用的是第二坐标。

定义

解释

该片段提出了一个最小二乘逼近问题：不要求模型精确经过所有数据点，而是寻求模型中的系数 $c,d$ ，使得模型 $ct+dt^2=y$ 对给定的三个点实现最佳拟合。讲师通过将 $t$ 值及其平方填入矩阵 $A$ 的各列、未知量填入向量 $\widehat{x}$ 、观测到的 $y$ 值填入向量 $b$ ，将该问题转化为矩阵形式。

公式

ct+dt^2=y,\quad A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix},\quad \widehat{x}=\begin{pmatrix}c\\d\end{pmatrix},\quad b=\begin{pmatrix}1\\5\\-2\end{pmatrix}

适用条件

拟合模型是过原点的二次函数。
共有三个数据点。
目标是获得最佳拟合，而非精确解。

为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

依据清楚

视频直接表达

来源依据

声音
观察依据
他指出，向量 $A\widehat{x}$ 的第一个分量等于 $1$ 乘以 $c$ 加上 $1$ 乘以 $d$ ，这对应将第一个点代入等式左端所得结果。
声音
观察依据
他指出，第二个点给出 $2$ 乘以 $c$ 加上 $4$ 乘以 $d$ ，这与向量 $A\widehat{x}$ 的第二个分量相匹配。
声音
观察依据
他指出， $b$ 来源于将各点代入等式右端，因此 $1$ 、 $5$ 和 $-2$ 即为各点的 $y$ 坐标。

方法

解释

讲师逐行验证该矩阵设置。对于一个点 $(t,y)$ ，将其代入 $ct+dt^2=y$ 得到标量方程 $tc+d(t^2)=y$ 。在矩阵形式中，该行 $(t,t^2)$ 的 $A$ 乘以 $(c,d)^T$ 恰好复现了该等式左边，而 $b$ 对应位置的元素是观测值 $y$ 。因此，这三行编码了来自三个数据点的三个尝试建立的方程。

公式

\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}\begin{pmatrix}c\\d\end{pmatrix}=\begin{pmatrix}1\\5\\-2\end{pmatrix}

适用条件

每个数据点为矩阵 $A$ 贡献一行，同时为向量 $b$ 贡献一个分量。
矩阵 $A$ 的第一列存储 $t$ 值，第二列存储 $t^2$ 值。

先修条目

过原点的二次函数最小二乘拟合问题

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。

依据清楚

视频直接表达

来源依据

公式
观察依据
教师在黑板上写下：无法求解 $A\widehat{x}=b$ 。
声音
观察依据
他说，如果我们能求解 $Ax$ 帽等于 $b$ ，那将非常理想；但我们做不到，因为不存在一个过原点的二次函数，能同时经过这三个点。

方法

解释

该片段明确指出：所构造的线性方程组无法被精确求解，因为不存在一个过原点的二次函数能同时经过所有三个给定点。这正是我们用最小二乘近似解替代精确解的动机。

公式

A\widehat{x}=b\ \text{has no exact solution for this data}

适用条件

数据点为 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。
模型被限定为过原点的二次函数。

先修条目

为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

最小二乘解即为向列空间的投影

依据清楚

视频直接表达

来源依据

声音
观察依据
他说，寻找最佳近似解等价于求解 $A\widehat{x}$ 等于 $b$ 在 $A$ 列空间上的投影。
声音
观察依据
他补充道：只有当 $A\widehat{x}$ 等于某个向量且该向量位于 $A$ 的列空间中时，我们才有可能解出该方程。

待核验内容

该句子在片段中尚未结束，因此下一个推导步骤未出现在本段中。

定义

解释

由于 $A\widehat{x}$ 只能生成 $A$ 列空间中的向量，因此对 $b$ 所能得到的最佳近似，就是将 $b$ 替换为其在该列空间上的投影。求解这个投影后的方程，即可得到最小二乘意义下的系数。

公式

A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)} b

适用条件

$b$ 未必位于 $\operatorname{Col}(A)$ 中。
右侧的目标向量必须属于 $\operatorname{Col}(A)$ ，方程 $A\widehat{x}=\cdot$ 才有解。

先修条目

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。

最小二乘法的正规方程

依据清楚

视频直接表达

来源依据

声音
观察依据
讲师指出，这等价于求解 A 转置乘 A 乘 x 帽等于 A 转置乘 b。
公式
观察依据
他在黑板上写下“真正求解”，随后写出 $A^T A \hat{x} = A^T b$ 。

公式

解释

对于不相容方程组 $A\hat{x}=b$ ，视频指出应转而求解正规方程 $A^T A \hat{x} = A^T b$ ；本片段中，讲师在指出 $A\hat{x}=b$ 无法直接求解后，将此正规方程作为实际待解问题提出。

公式

A^T A \hat{x} = A^T b

适用条件

起始方程组写作 $A\hat{x}=b$ 。
视频将 $A\hat{x}=b$ 视为无法直接求解，并代之以正规方程组。
本片段未给出二者等价性的明确证明。

先修条目

直接求解线性方程组 $A\hat{x}=b$ 是不可行的

直接求解线性方程组 $A\hat{x}=b$ 是不可行的

依据清楚

视频直接表达

来源依据

公式
观察依据
视频片段开始时，黑板上 $A\hat{x}=b$ 的上方已写有“无法求解”。
声音
观察依据
教师将这个无法求解的方程组，与他们“真正要解的”问题作了对比。

待核验内容

该片段未展示行化简或相容性检验过程，因此并未证明 $A\hat{x}=b$ 无解。

方法

解释

黑板上明确将原方程组 $A\hat{x}=b$ 标注为“无法求解”，随后讲解转向正规方程，而非尝试直接求解该方程组。

公式

A\hat{x} = b

适用条件

本条仅记录视频中关于所展示方程组无法直接求解的陈述。
不一致性的原因在此片段中并未予以说明。

计算 $A^T A$

依据清楚

视频直接表达

来源依据

声音
观察依据
教师提问：“那么 A 的转置乘以 A 是什么？”
公式
观察依据
他写出 $A^T A = [[1, 2, -1], [1, 4, 1]] [[1, 1], [2, 4], [-1, 1]]$ ，然后给出乘积结果 [[6, 8], [8, 10]]。

方法

解释

本讲通过将显示的 $2\times 3$ 转置矩阵与显示的 $3\times 2$ 矩阵 A 相乘，执行矩阵乘法 $A^T A$ 。所得的 $2\times 2$ 矩阵被写在黑板上，形式为 [[6, 8], [8, 10]]。

公式

A^T A = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix} = \begin{pmatrix}6&8\\8&10\end{pmatrix}

适用条件

请使用黑板上展示的具体矩阵。
本片段中，该乘法被呈现为常规计算，而非由某个定理推导而来。

先修条目

A
$A^T$
最小二乘法的正规方程

计算 $A^T b$

依据清楚

视频直接表达

来源依据

声音
观察依据
教师提问：“那么 A 的转置乘以 b 是什么？”
公式
观察依据
他写出 $A^T b = [[1, 2, -1], [1, 4, 1]] [[1], [5], [-2]]$ ，随后给出结果 [[13], [19]]。

方法

解释

本讲通过将 $A^T$ 与向量 b 相乘，计算变换后的右端项。所展示的乘积得到列向量 [[13], [19]]。

公式

A^T b = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix} = \begin{pmatrix}13\\19\end{pmatrix}

适用条件

请使用黑板上展示的具体矩阵和向量。
本片段未单独验算算术过程，仅要求学生自行核对。

先修条目

b
$A^T$
最小二乘法的正规方程

代入后的正规方程组

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说道：“我们此处求解的是 6 8 8 10 乘以 x 帽等于 13 19。”
公式
观察依据
他写出 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}$ 。

待核验内容

视频片段在显式求解 $\hat{x}$ 之前就结束了。

公式

解释

在计算出正规方程两边后，授课教师将该问题重写为关于 $\hat{x}$ 的一个具体的 $2\times 2$ 线性方程组。这是视频片段中该例题最终展示的状态。

公式

\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}

适用条件

这源于将已算得的 $A^T A$ 和 $A^T b$ 代入方程 $A^T A \hat{x} = A^T b$ 。
解向量本身在所提供的时长内并未得出。

先修条目

最小二乘法的正规方程
计算 $A^T A$
计算 $A^T b$

最小二乘法的正规方程

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示 $A^T A = \begin{pmatrix}6&8\\8&10\end{pmatrix}$ ， $A^T b = \begin{pmatrix}13\\19\end{pmatrix}$ ，然后 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 。
声音
观察依据
在01:34.880–01:39.200处，讲师说：“最后，你建立投影方程。”

公式

解释

本片段将正规方程作为最小二乘问题的计算形式。所显示的矩阵表明，超定拟合被转化为一个关于系数向量的方阵 $2\times 2$ 系统。

公式

A^T A\widehat{x}=A^T b

适用条件

该拟合以系数形式 $\widehat{x}$ 求解。
当前展示的实例中， $A^T A = \begin{pmatrix}6&8\\8&10\end{pmatrix}$ ，且 $A^T b = \begin{pmatrix}13\\19\end{pmatrix}$ 。

定理与条件 · 7

过原点意味着常数项为零

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：“如果这只是一个普通的二次方程，那我们就会有一个常数项；但‘过原点’仅仅意味着常数项为零。”

命题

对一个二次方程而言，要求其图像经过原点，即意味着其常数项为零。

前提

该方程是二次的。
该图像经过原点。

量词

针对当前讨论的二次模型。

没有一个精确的过原点的二次函数能同时拟合这三个点。

依据清楚

视频直接表达

来源依据

声音
观察依据
讲师指出，不存在一个过原点的二次方程能同时经过这三个点。
公式
观察依据
他写道：无法求解 $A\widehat{x}=b$ 。

命题

对于点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ ，不存在系数 $c,d$ 的选择，使得 $ct+dt^2=y$ 对所有三个点同时成立。

前提

该模型被限制在 $ct+dt^2=y$ 中。
该数据集由所列出的三个点组成。

量词

对所有实数 $c,d$ ，这三个方程均不能同时满足。

最佳逼近通过将 $b$ 投影到 $\operatorname{Col}(A)$ 上获得。

依据清楚

视频直接表达

来源依据

声音
观察依据
他指出，寻找最佳逼近等价于求解 $A\widehat{x}$ 等于 $b$ 在 $A$ 的列空间上的投影。

待核验内容

该片段未包含证明过程或后续的正规方程推导。

命题

当 $A\widehat{x}=b$ 无解时，最小二乘逼近通过求解 $A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)}b$ 得到。

前提

$A$ 是由数据构建的设计矩阵。
$b$ 是观测向量。
目标是在最小二乘意义下获得最佳近似。

量词

对于给定的不相容方程组，最优的右端项是 $b$ 在 $A$ 的列空间上的投影。

最小二乘问题通过正规方程求解

依据清楚

视频直接表达

来源依据

声音
观察依据
教师指出，该问题‘等价于求解 A 转置乘以 A 再乘以 x 帽等于 A 转置乘以 b’。
公式
观察依据
黑板上的内容从‘无法求解 $A\hat{x}=b$ ’变为‘转而求解 $A^T A \hat{x} = A^T b$ ’。

待核验内容

视频片段陈述了这一替换规则，但此处并未给出证明。

命题

对于所展示的不相容方程组 $A\hat{x}=b$ ，授课教师指出应转而求解 $A^T A \hat{x} = A^T b$ 。

前提

$A\hat{x}=b$ 是初始方程组。
该方程组被视为无法直接求解。
教师指出正规方程才是实际需要求解的问题。

量词

该断言针对本例中具体展示的矩阵 A、 $\hat{x}$ 和 b。

消元过程中使用的明确行运算

依据清楚

视频直接表达

来源依据

声音
观察依据
在00:05.840-00:11.840，讲师指出：“我们将第二行替换为三倍的第二行减去四倍的第一行。”
公式
观察依据
板书上从 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 到 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ 的书写变换，正对应这一运算。

命题

对于所展示的正规方程组，将第二行替换为3倍的第二行减去4倍的第一行，可得简化后的方程组 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ 。

前提

初始方程组为 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 。

量词

适用于黑板上所展示的具体 $2\times 2$ 方程组。

已解出的系数值

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示 $d = -5/2$ ， $c = 11/2$ 。
声音
观察依据
在时间点00:26.800-00:39.920，讲师说：‘D 是负的5分之二，而 C 等于……我想你会得到11除以2。’

命题

约简后的正规方程组的解为 $c = 11/2$ ， $d = -5/2$ 。

前提

约简后的方程组为 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ 。

量词

仅适用于当前展示的例子。

最佳拟合曲线未必经过数据点

依据清楚

视频直接表达

来源依据

声音
观察依据
在时间点01:44.480-01:52.240，讲师说：‘很好，还值得指出的是，这三个点显然不在该二次方程曲线上。’
声音
观察依据
在时间点01:52.240-01:56.640，他说：‘例如，如果我将一输入此处，我得不到一一，而是得到一三。’

待核验内容

本片段未完整复述全部三个数据点的精确坐标，但此前可见 $b = (5, 1, -2)^T$ 。

命题

拟合所得的二次函数不一定经过原始数据点；在 $t = 1$ 处，拟合结果给出 $y = 3$ ，而非与观测点 $y = 1$ 相符。

前提

拟合所得方程为 $y = 11/2 t - 5/2 t^2$ 。
一个观测数据值对应于 t＝1，y＝1。

量词

本例中针对三个点陈述该关系，并以 t＝1作为示例。

推导与证明 · 8

根据题目描述建立二次模型。

依据清楚

视频直接表达

来源依据

声音
观察依据
教师指出第一步是确定方程的形式，接着写出 $ct+dt^2=y$ ，并解释缺失的常数项。
公式
观察依据
他在黑板上写下 $ct + dt^2 = y$ 。

直观解释

步骤

公式
$ct + dt^2 = y$
解释
教师选择一个含有未知系数 $c$ 和 $d$ 的二次形式。
步骤依据
这与题目所要求的二次拟合一致。
视频直接表达
公式
解释
他指出，一般二次函数应包含常数项，但本题中没有。
步骤依据
题目要求曲线经过原点，因此常数项为零。
视频直接表达

结论

本题适用的模型是 $ct + dt^2 = y$ 。

开始建立矩阵方程

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：“接下来我们需要建立一个矩阵方程，因此需要一个矩阵A。”随后解释他将把第一组坐标填入第一列。
公式
观察依据
他写出 $A=$ ，并开始用 $1$ 、 $2$ 和 $-1$ 填充第一列。

待核验内容

矩阵 $A$ 的第二列在片段结束前未显示。
本片段中未完成完整的矩阵方程。

直观解释

步骤

公式
$A = ( \; )$
解释
教师开始为最小二乘系统书写矩阵 $A$ 。
步骤依据
需要一个矩阵方程来求解未知系数。
视频直接表达
公式
$\begin{pmatrix}1\\2\\-1\end{pmatrix}$
解释
他将三个点的第一坐标填入矩阵 $A$ 的第一列。
步骤依据
这些是矩阵 $t$ 中对应于数据点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 的取值。
视频直接表达

结论

设计矩阵 $A$ 正逐列构建；第一列是 $t$ 值构成的向量。

从逐点代入推导矩阵方程

依据清楚

视频直接表达

来源依据

声音
观察依据
教师口头展开 $A\widehat{x}$ 的第一行和第二行，并将其与直接代入 $ct+dt^2=y$ 的结果进行比较。
公式
观察依据
黑板上显示了 $A$ 、 $\widehat{x}$ 和 $b$ ，他一边指着这些矩阵，一边指向原始点列表。

直观解释

步骤

公式
$ct+dt^2=y$
解释
从过原点的二次模型出发，考虑一个一般点 $(t,y)$ 。
步骤依据
这是黑板上给出的拟合模型。
视频直接表达
公式
$(1)c+(1)d=1$
解释
将第一个点 $(1,1)$ 代入该模型。
步骤依据
直接代入 $t=1$ 、 $y=1$ 。
依据视频推导
公式
$(2)c+(4)d=5$
解释
将第二个点 $(2,5)$ 代入该模型。
步骤依据
直接代入 $t=2$ 、 $y=5$ ，使用 $t^2=4$ 。
依据视频推导
公式
$(-1)c+(1)d=-2$
解释
将第三个点 $(-1,-2)$ 代入模型。
步骤依据
直接代入 $t=-1$ 、 $y=-2$ ，使用 $t^2=1$ 。
依据视频推导
公式
$\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}\begin{pmatrix}c\\d\end{pmatrix}=\begin{pmatrix}1\\5\\-2\end{pmatrix}$
解释
将三个标量方程合并为一个矩阵方程。
步骤依据
$A$ 的每一行存储 $(t,t^2)$ ，而 $b$ 的每个元素存储对应的 $y$ 。
视频直接表达

结论

矩阵方程 $A\widehat{x}=b$ 正是三个尝试拟合点方程的紧凑形式。

从不一致的精确拟合转向投影最小二乘系统

依据清楚

视频直接表达

来源依据

声音
观察依据
他指出我们无法精确求解 $A\widehat{x}=b$ ，随后将任务重新表述为求解 $A\widehat{x}$ 等于 $b$ 在 $A$ 的列空间上的投影。
公式
观察依据
黑板上写的‘无法求解 $A\widehat{x}=b$ ’引出了这一障碍。

待核验内容

该片段在投影或正规方程的任何代数计算之前就结束了。

直观解释

步骤

公式
$A\widehat{x}=b$
解释
从编码全部三个数据点的精确系统开始。
步骤依据
这是由代入推导出的矩阵形式。
视频直接表达
公式
$\text{No exact solution exists}$
解释
认识到该系统对于给定数据是不相容的。
步骤依据
教师明确指出，不存在一个经过原点且同时经过全部三个点的二次函数。
视频直接表达
公式
$A\widehat{x}\in \operatorname{Col}(A)$
解释
注意，任何形如 $A\widehat{x}$ 的向量都必须位于 $A$ 的列空间中。
步骤依据
列空间定义为所有与 $A$ 相乘所得的矩阵-向量积构成的集合。
依据视频推导
公式
$A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)} b$
解释
将 $b$ 替换为其在 $\operatorname{Col}(A)$ 上的投影，从而得到最接近的可实现右端项。
步骤依据
教师直接陈述了这一说法，即其含义就是最佳逼近。
视频直接表达

结论

最小二乘问题被重新表述为一个可解的方程组，其右端项位于 $A$ 的列空间中。

从正规方程到一个具体的 $2\times 2$ 方程组

依据清楚

视频直接表达

来源依据

声音
观察依据
教师说：‘现在我们只需进行一次计算’，随后计算了 $A^T A$ 和 $A^T b$ 。
公式
观察依据
黑板依次展示了 $A^T A$ = …、 $A^T b$ = …，以及最终代入后的方程组。

待核验内容

推导止步于代入后的线性方程组；求解 $\hat{x}$ 的过程未在该片段中出现。

数值验证

步骤

公式
$A^T A \hat{x} = A^T b$
解释
从黑板上写出的正规方程出发。
步骤依据
这是教师在‘真正求解’下方所写的公式。
视频直接表达
公式
$A^T A = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$
解释
将黑板上展示的转置矩阵与原矩阵代入等式左侧。
步骤依据
这些是黑板上为 $A^T$ 和 A 所写的矩阵。
视频直接表达
公式
$A^T A = \begin{pmatrix}6&8\\8&10\end{pmatrix}$
解释
计算矩阵乘积，得到 $2\times 2$ 系数矩阵。
步骤依据
教师写出了这一结果，并表示学生可以自行验证。
视频直接表达
公式
$A^T b = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix}$
解释
将显示的转置矩阵和右侧向量代入等式右侧。
步骤依据
这些是写在黑板上的矩阵和向量。
视频直接表达
公式
$A^T b = \begin{pmatrix}13\\19\end{pmatrix}$
解释
计算乘积，得到变换后的右侧向量。
步骤依据
教师写出这一结果，并表示学生可以自行验证。
视频直接表达
公式
$\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}$
解释
将已计算出的分块矩阵代回正规方程。
步骤依据
这是本片段结尾处最终展示的方程组。
视频直接表达

结论

该例题将抽象的正规方程化为显式的线性方程组[[6, 8], [8, 10]] $\hat{x} = [[13], [19]]$ 。

由正规方程推导系数的过程

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上展示了 $A^T A$ 、 $A^T b$ 、正规方程组、化简后的三角方程组，以及最终结果 d＝－5／2，c＝11／2。
声音
观察依据
教师口述消元过程，同时更新 b 向量并进行回代求解。

严格证明

步骤

公式
$A^T A=\begin{pmatrix}6&8\\8&10\end{pmatrix},\quad A^T b=\begin{pmatrix}13\\19\end{pmatrix}$
解释
最小二乘问题首先被转化为正规方程组。
步骤依据
黑板上可见的 $A^T A$ 与 $A^T b$ 的计算过程。
视频直接表达
公式
$\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$
解释
这是待解系数向量的显式 $2\times 2$ 线性方程组。
步骤依据
直接写在已计算出的乘积下方的黑板上。
视频直接表达
公式
$R_2\leftarrow 3R_2-4R_1$
解释
教师执行一步消元操作，消去左下角元素。
步骤依据
在时间点 00:05.840 至 00:11.840 处明确口述，且与板书结果一致。
视频直接表达
公式
$\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$
解释
变换后的方程组为上三角形式，右侧向量同步更新。
步骤依据
化简箭头后写在黑板上。
视频直接表达
公式
$-2d=5\Rightarrow d=-\frac{5}{2}$
解释
第二行通过回代直接给出较低次项的系数。
步骤依据
最终书写可见 $d = -5/2$ ，口述为‘d 等于负的5分之二’。
视频直接表达
公式
$6c+8\left(-\frac{5}{2}\right)=13\Rightarrow c=\frac{11}{2}$
解释
将 d 代入第一行，得到剩余系数。
步骤依据
中间代入步骤未完整写出，但黑板显示 $c = 11/2$ ，音频提示将其代入。
依据视频推导

结论

法方程组解得 $\widehat{x}=\begin{pmatrix}11/2\\-5/2\end{pmatrix}$ ，从而得到拟合系数 $c = 11/2$ 和 $d = -5/2$ 。

由已解出的系数组装拟合二次函数。

依据清楚

视频直接表达

来源依据

公式
观察依据
系数值写出后，黑板上出现带方框的方程 $y = 11/2 t - 5/2 t^2$ 。
声音
观察依据
教师先询问最终方程，随后口头陈述该方程。

直观解释

步骤

公式
$ct+dt^2=y$
解释
模型形式为过原点的二次函数，系数为 c 和 d。
步骤依据
在回顾环节中可见于黑板左侧，且与最终方程结构一致。
视频直接表达
公式
$c=\frac{11}{2},\ d=-\frac{5}{2}$
解释
将法方程解出的系数值代入。
步骤依据
此前已在黑板上推导得出。
视频直接表达
公式
$y=\frac{11}{2}t-\frac{5}{2}t^2$
解释
这是最终得到的最佳拟合二次方程。
步骤依据
该方程在黑板上被框出并口头念出。
视频直接表达

结论

将已解得的系数代入模型，得到最终拟合方程 $y=11/2 t - 5/2 t^2$ 。

从矩阵方程推导出拟合方程

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板自上而下依次展示矩阵乘法、正规方程，最后是一个标量方程

待核验内容

具体的推导步骤在视频中并未口头讲解，仅以书写形式呈现结果

严格证明

步骤

公式
$\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 \\ 5 \\ -2 \end{pmatrix} = \begin{pmatrix} 13 \\ 19 \end{pmatrix}$
解释
计算 A 转置 b 的值
步骤依据
矩阵乘法的定义
视频直接表达
公式
$\begin{pmatrix} 6 & 8 \\ 0 & -2 \end{pmatrix} \hat{x} = \begin{pmatrix} 13 \\ 5 \end{pmatrix}$
解释
列出正规方程：A 转置 A x 帽等于 A 转置 b
步骤依据
最小二乘法原理
视频直接表达
公式
$y = \frac{11}{2}t - \frac{5}{2}t^2$
解释
将已计算出的系数代入多项式，得到最终拟合方程
步骤依据
多项式表示
视频直接表达

结论

已获得最小二乘拟合方程：y 等于十一分之二 t 减五分之二 t 平方

例题详解 · 4

过原点的三点最佳拟合二次函数

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
黑板文字为：“求一条过原点的二次方程，使其对点(1,1)、(2,5)、(-1,-2)最佳拟合。”
声音
观察依据
教师口头读出同一道题目并开始求解。

待核验内容

最终的最小二乘解未在所提供的片段内得出。
仅展示了矩阵构建的起始部分。

题目

求过原点且对三点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 最佳拟合的二次方程。

已知条件

数据点： $(1,1)$ 、 $(2,5)$ 、 $(-1,-2)$ 。
该二次函数必须经过原点。
拟合采用最小二乘意义下的标准。

目标

建立二次模型，并开始构造用于求解最佳拟合系数的矩阵方程。

步骤

公式
$ct + dt^2 = y$
解释
选取不含常数项的二次模型。
步骤依据
经过原点这一条件迫使常数项为零。
视频直接表达
公式
$A = \left( \begin{array}{c} 1 \\ 2 \\ -1 \end{array} \right)$
解释
从将 $t$ 的横坐标放入第一列开始构建设计矩阵。
步骤依据
这些是对应于三个数据点的输入值。
视频直接表达

结果

本片段仅展示部分构建过程：模型为 $ct+dt^2=y$ ，而 $A$ 的第一列为 $\begin{pmatrix}1\\2\\-1\end{pmatrix}$ 。

检验

本片段未展示最终的数值验证。

建立一个经过原点的最小二乘二次拟合

依据清楚

视频直接表达

来源依据

公式
观察依据
左侧面板给出了针对点 $(1,1)$ 、 $(2,5)$ 、 $(-1,-2)$ 的问题描述。
公式
观察依据
右侧面板展示了 $ct+dt^2=y$ 、 $A$ 、 $\widehat{x}$ 和 $b$ 。
声音
观察依据
教师解释了如何从数据中选取 $A$ 的各列以及 $b$ 的各个分量。

待核验内容

本片段中未得出最终的数值型最小二乘系数。

题目

求一条经过原点的二次方程，使其最佳拟合点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。

已知条件

模型形式： $ct+dt^2=y$ 。
数据点： $(1,1)$ 、 $(2,5)$ 、 $(-1,-2)$ 。
矩阵 $A$ 的第一列使用 $t$ 坐标。
矩阵 $A$ 的第二列使用 $t$ 坐标的平方。
向量 $b$ 使用 $y$ 坐标。

目标

将拟合问题转化为矩阵形式，并说明为何无法精确求解。

步骤

公式
$A=\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}$
解释
利用三点 $t$ 和 $t^2$ 构造设计矩阵。
步骤依据
对于点 $(1,1)$ 、 $(2,5)$ 、 $(-1,-2)$ ，其第一坐标及其平方分别为 $(1,1)$ 、 $(2,4)$ 、 $(-1,1)$ 。
视频直接表达
公式
$\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix}$
解释
将未知系数放入解向量中。
步骤依据
该模型恰好有两个未知参数： $c$ 和 $d$ 。
视频直接表达
公式
$b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$
解释
将观测到的第二坐标作为等式右端项。
步骤依据
这些是三个数据点的 $y$ 值。
视频直接表达
公式
$\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix}\begin{pmatrix}c\\d\end{pmatrix}=\begin{pmatrix}1\\5\\-2\end{pmatrix}$
解释
写出完整的精确拟合方程组。
步骤依据
每一行对应将一个点代入 $ct+dt^2=y$ 。
依据视频推导
公式
$\text{Can't solve }A\widehat{x}=b$
解释
得出结论：该精确方程组无解。
步骤依据
教师指出，不存在经过原点的二次函数能同时通过这三个点。
视频直接表达
公式
$A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)} b$
解释
将任务重新表述为最小二乘投影问题。
步骤依据
只有属于 $A$ 列空间的向量才能表示为 $A\widehat{x}$ ，因此最佳近似是将 $b$ 投影到该空间中。
视频直接表达

结果

视频片段得到了矩阵设定 $A\widehat{x}=b$ ，并指出了最小二乘的重述形式 $A\widehat{x}=\operatorname{proj}_{\operatorname{Col}(A)}b$ ；但在所给时间内并未计算出最终的系数。

检验

对 $A\widehat{x}$ 逐行相乘，可复现模型 $ct+dt^2=y$ 中代入三个点所得的三个方程，从而验证了设定的正确性。

ct + $dt^2 = y$ 的最小二乘设定

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示：ct + $dt^2 = y$ ， $A = [[1, 1], [2, 4], [-1, 1]]$ ， $\hat{x} = [[c], [d]]$ ， $b = [[1], [5], [-2]]$ ，'无法求解 $A\hat{x}=b$ '，以及'实际求解 $A^T A \hat{x} = A^T b$ '。
声音
观察依据
教师说明他们实际上将求解 A 转置乘以 A 再乘以 x 帽等于 A 转置乘以 b，并随后进行计算。

待核验内容

该片段未展示 c 和 d 的最终解。
从模型 ct + $dt^2 = y$ 到矩阵 A 和向量 b 各行的映射关系由设定隐含给出，但本片段中未作口头展开。

题目

已知模型 ct + $dt^2 = y$ ，其中 $A = [[1, 1], [2, 4], [-1, 1]]$ ， $\hat{x} = [[c], [d]]$ ，且 $b = [[1], [5], [-2]]$ 。直接方程组 $A\hat{x}=b$ 被标记为不可解；请构造并计算对应的正规方程。

已知条件

ct 加 dt 的 2 次方等于 y
A 等于一个三行两列的矩阵，第一行是 1 和 1，第二行是 2 和 4，第三行是 -1 和 1。
x 的估计值 = $\begin{pmatrix}c\\d\end{pmatrix}$
b 等于一个三行一列的列向量，其分量依次为 1、5 和负 2
黑板上写着“无法求解 $A\hat{x}=b$ ”。

目标

用正规方程替代该不可解方程组，并计算出待求解的具体的 $2 \times 2$ 方程组。

步骤

公式
$A^T A \hat{x} = A^T b$
解释
将正规方程写成实际需要求解的问题形式。
步骤依据
教师指出这才是他们‘真正要解的问题’，并将其写在黑板上。
视频直接表达
公式
$A^T A = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1&1\\2&4\\-1&1\end{pmatrix} = \begin{pmatrix}6&8\\8&10\end{pmatrix}$
解释
计算正规方程左侧的系数矩阵。
步骤依据
该乘法运算在黑板上被明确展开计算。
视频直接表达
公式
$A^T b = \begin{pmatrix}1&2&-1\\1&4&1\end{pmatrix}\begin{pmatrix}1\\5\\-2\end{pmatrix} = \begin{pmatrix}13\\19\end{pmatrix}$
解释
计算正规方程右侧的向量。
步骤依据
该乘法运算在黑板上明确进行。
视频直接表达
公式
$\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}$
解释
将已计算出的各项代回正规方程组。
步骤依据
这是本片段结尾处最终展示的方程组。
视频直接表达

结果

本片段以具体的正规方程组 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\hat{x} = \begin{pmatrix}13\\19\end{pmatrix}$ 结束；片段中未展示解出的向量 $\hat{x}$ 。

检验

教师要求学生验算乘积6、8、8、10以及13、19，但片段中并未呈现单独的验证步骤。

过原点的二次函数的最小二乘拟合

依据清楚

视频直接表达

来源依据

公式
观察依据
完整的演算过程在黑板上清晰可见： $A^T A$ 、 $A^T b$ 、正规方程组、化简后的方程组、 $c=11/2$ 、 $d=-5/2$ ，以及被框出的最终方程。
声音
观察依据
教师口述了消元过程、回代求解、最终方程，并回顾了整个方法。

待核验内容

本片段未完整重写原始数据表，但向量 $b=(5,1,-2)^T$ 在黑板上可见，且在结尾附近口头讨论了一个点： $t=1$ , $y=1$ 。

题目

利用正规方程，求解所示的过原点的二次拟合最小二乘问题。

已知条件

A 的转置乘以 A 等于一个二乘二矩阵，其第一行第一列元素为6，第一行第二列元素为8，第二行第一列元素为8，第二行第二列元素为10。
A 的转置乘以 b 等于由 13 和 19 构成的列向量。
正规方程组为 $\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$ 。

目标

求出系数，并写出最终拟合的二次方程。

步骤

公式
$\begin{pmatrix}6&8\\8&10\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\19\end{pmatrix}$
解释
从黑板上已计算出的正规方程出发。
步骤依据
视频片段开头可见的公式。
视频直接表达
公式
$R_2\leftarrow 3R_2-4R_1$
解释
应用消元法，在左下角位置制造一个零。
步骤依据
教师明确口述的内容。
视频直接表达
公式
$\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$
解释
记录更新了两行及右端项后的简化三角方程组。
步骤依据
化简箭头之后写在黑板上的内容。
视频直接表达
公式
$d=-\frac{5}{2}$
解释
解第二个方程，求出下方的系数〔d〕。
步骤依据
回代过程中既写在黑板上，也由教师口述。
视频直接表达
公式
$c=\frac{11}{2}$
解释
将〔d〕代入第一个方程，并解出〔c〕。
步骤依据
写在黑板上；中间代数步骤主要靠口述，而非完全展开。
视频直接表达
公式
$y=\frac{11}{2}t-\frac{5}{2}t^2$
解释
将〔c〕和〔d〕代入二次模型，并将最终结果用方框标出。
步骤依据
黑板上最终框出的方程。
视频直接表达

结果

y 等于 11 除以 2 乘以 t，减去 5 除以 2 乘以 t 的 2 次方

检验

教师从概念上确认拟合曲线无需经过所有数据点，并指出当 $t=1$ 时，拟合值为 3，而非 1。

图示与动画 · 11

课程标题幻灯片

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
标题幻灯片显示“18.06SC，2011年秋季学期”、“线性代数”、“助教：本·哈里斯”以及“最小二乘逼近”。

图中对象

麻省理工学院（MIT）标志
课程标题文字
主题标题文字

变化过程

静态标题卡片在黑板场景开始前显示。

不变量

尚未展示任何数学推导。

数学含义

该幻灯片指出本次课的主题是线性代数课程中的最小二乘逼近。

黑板上的问题陈述

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
黑板左侧手写有包含三个点的问题陈述。
声音
观察依据
教师朗读问题，并暂停片刻，让观众尝试解答。

图中对象

手写提示
三个数据点
教师在黑板前

变化过程

教师站在已写好的题目旁，并朝题目方向做出手势。

不变量

题目陈述在整个时段内始终保持可见。

数学含义

画面明确了精确拟合问题：一条过原点的抛物线，最优拟合给定的三个点。

写出二次模型

依据清楚

视频直接表达

来源依据

公式
观察依据
教师在黑板右侧写下 $ct + dt^2 = y$ 。
声音
观察依据
他说明该方程将呈现为“ct 加 dt 平方等于 y”的形式。

图中对象

粉笔
方程 $ct+dt^2=y$

变化过程

教师转身书写后，黑板上出现了一个新方程。

不变量

原始题目陈述仍保留在左侧。

数学含义

该画面记录了最小二乘拟合所选用的函数形式。

开始构建设计矩阵

依据清楚

视频直接表达

来源依据

公式
观察依据
教师写下 $A=$ 及大括号，然后在第一列中依次填入 $1$ 、 $2$ 和 $-1$ 。
声音
观察依据
他说明，将在第一列中填入三个点的横坐标。

待核验内容

视频片段结束时，第二列尚未写出。

图中对象

矩阵标记为 $A$
括号
第一列元素为 $1,2,-1$

变化过程

黑板上在模型方程下方出现了矩阵的雏形。

不变量

模型方程 $ct+dt^2=y$ 保留在矩阵上方。

数学含义

该画面展示了最小二乘法从标量方程到矩阵形式的过渡过程。

在黑板上构建最小二乘设定

依据清楚

视频直接表达

来源依据

动画
观察依据
教师先写出 $A$ 的第二列，再写出 $\widehat{x}$ ，然后写出 $b$ ，最后在矩阵下方写下“无法求解 $A\widehat{x}=b$ ”。
图示
观察依据
黑板分为左右两部分：左侧为问题陈述，右侧为演算区，包含模型方程及矩阵。

图中对象

左侧显示问题陈述及三个点。
顶部的模型方程为 $ct+dt^2=y$ 。
矩阵 $A$ 。
向量 $\widehat{x}$ 。
向量 $b$ 。
手写备注：‘无法求解 $A\widehat{x}=b$ ’。

变化过程

初始时，仅可见 $A$ 的第一列。
$A$ 的第二列被填入 $1$ 、 $4$ 、 $1$ 。
$\widehat{x}$ 被写作 $(c,d)^T$ 。
$b$ 被写作 $(1,5,-2)^T$ 。
新出现一行文字，说明 $A\widehat{x}=b$ 无法求解。
讲师在讲解时，手指在点列表、模型方程和矩阵元素之间移动示意。

不变量

这三个数据点在整个片段中保持固定。
模型在整个片段中保持为 $ct+dt^2=y$ 。
尺寸始终保持为 $A\in\mathbb{R}^{3\times2}$ 、 $\widehat{x}\in\mathbb{R}^{2}$ 、 $b\in\mathbb{R}^{3}$ 。

数学含义

视觉演进过程展示了如何将一个曲线拟合问题转化为线性代数方程组，接着意识到该精确方程组是不相容的，必须代之以基于投影的最小二乘公式。

从不可解的方程组转向正规方程组

依据清楚

视频直接表达

来源依据

图示
观察依据
开始时，黑板左侧写有ct+ $dt^2=y$ 、A、 $\hat{x}$ 、b及‘无法求解 $A\hat{x}=b$ ’；随后教师在右侧写下‘实际求解’及 $A^T A \hat{x} = A^T b$ 。

图中对象

原始模型ct+ $dt^2=y$
矩阵A
向量 $\hat{x}$
向量b
文字‘无法求解’
方程 $A\hat{x}=b$
文字“真正求解”
方程 $A^T A \hat{x} = A^T b$

变化过程

教师添加短语“真正求解”。
他在先前标记为不可解方程组的笔记右侧写下了正规方程公式。

不变量

原始矩阵 A、 $\hat{x}$ 和 b 始终保留在左侧可见，同时在右侧添加新公式。

数学含义

视觉布局将失败的直接求解与通过正规方程实现的最小二乘替代方案形成对比。

数值型正规方程组的分步构建

依据清楚

视频直接表达

来源依据

图示
观察依据
在黑板右侧，教师写出 $A^T A$ = …，然后 $A^T b$ = …，接着是代入后的方程组。
动画
观察依据
书写过程按顺序展开：从乘积设定开始，到数值结果，最终得到合并后的方程。

图中对象

A 的转置
A
b
A 的转置乘以 A
A 的转置乘以 b
最终的系统矩阵与向量

变化过程

首先写出乘积 $A^T A$ 。
然后将其数值结果 [[6, 8], [8, 10]] 补充完整。
接着写出并计算乘积 $A^T b$ ，得到 [[13], [19]]。
最后将这两个结果组合成一个展示出来的线性方程组。

不变量

整个计算过程中重复使用相同的 A、 $A^T$ 和 b 的元素。

数学含义

板书动画将符号形式的正规方程转化为一个具体的 2 x 2 方程组，以便求解。

右半黑板计算画面

依据清楚

视频直接表达

来源依据

图示
观察依据
镜头持续聚焦于黑板右侧，教师在上面写出约化后的方程组及最终框出的方程。

图中对象

黑板上 $A^T A$ 的公式
黑板上 $A^T b$ 的公式
正规方程组
约化后的三角方程组
数值 $d=-5/2$ 与 $c=11/2$
框出的最终方程 $y=11/2 t - 5/2 t^2$

变化过程

在原始正规方程组旁添加了一个约化箭头。
三角形方程组 $\begin{pmatrix}6&8\\0&-2\end{pmatrix}\widehat{x}=\begin{pmatrix}13\\5\end{pmatrix}$ 写在右侧。
系数值 $d=-5/2$ 和 $c=11/2$ 添加在下方。
最终的二次方程被写出，并用方框标出。

不变量

此前计算出的矩阵 $A^T A$ 和 $A^T b$ 仍显示在上方。
该例题在整个时间段内始终是一个 $2\times 2$ 线性方程组求解问题。

数学含义

视觉序列追踪解法路径：从正规方程出发，经消元、回代，最终得到拟合模型。

回顾镜头平移至设定黑板

依据清楚

视频直接表达

来源依据

动画
观察依据
镜头向左平移，展示黑板上更早的设定。
图示
观察依据
左侧黑板显示 ct+ $dt^2=y$ ， $A=\begin{pmatrix}1&2\\2&4\\-1&1\end{pmatrix}$ ， $\widehat{x}=\begin{pmatrix}c\\d\end{pmatrix}$ ， $b=\begin{pmatrix}5\\1\\-2\end{pmatrix}$ ，'无法求解 $A\widehat{x}=b$ 。' 以及 '实际求解 $A^T A\widehat{x}=A^T b$ 。'

图中对象

标量模型 ct+ $dt^2=y$
矩阵 A
向量 $\widehat{x}$
向量 b
文字：“无法求解 $A\widehat{x}=b$ 。”
文字：“实际求解 $A^T A\widehat{x}=A^T b$ 。”

变化过程

视角从已求解的右侧移回左侧原始表达式。
讲师先指向一般形式，再指向矩阵，最后指向正规方程表述。

不变量

讨论的是同一个例子；仅黑板上显示的区域发生变化。

数学含义

这一视觉移动支持对最小二乘工作流程的口头总结：从标量模型出发，将其编码为矩阵 A 和向量 b，再用正规方程替代原本不可解的直接方程组。

针对数据点的口头验证

依据清楚

视频直接表达

来源依据

图示
观察依据
讲师站在框出的方程旁，一边讨论数据点是否落在曲线上，一边用手势指向该方程。

待核验内容

本片段中未展示抛物线图像或已绘制的数据点；验证仅通过口头说明和手势完成。

图中对象

框出的方程 $y=11/2 t - 5/2 t^2$
讲师指向的手

变化过程

关注点从求解转向对结果的解读。
教师提及 $t=1$ ，并将观测值与拟合值进行对比。

不变量

框出的方程仍是视觉焦点。

数学含义

手势配合这一概念要点：最小二乘拟合使总体偏差最小化，但未必经过所有给定点。

黑板演示

依据清楚

视频直接表达

来源依据

图示
观察依据
黑板写满了线性代数运算，最终结果用方框标注在底部

图中对象

讲师
黑板
数学公式

不变量

黑板上公式的內容保持不變

数学含义

展示最小二乘解法過程的最終黑板狀態

易错点 · 6

忘记“过原点”意味着常数项为零

依据清楚

视频直接表达

来源依据

声音
观察依据
教师明确对比了一般二次函数与过原点的二次函数，并指出其常数项为零。

误区

有人可能会写出一个带有非零常数项的完整二次式，尽管题目要求曲线必须过原点。

说明

由于曲线必须过原点，常数项为零，仅剩下 $ct+dt^2=y$ 。

假设矩阵方程必须被精确求解

依据清楚

视频直接表达

来源依据

声音
观察依据
讲师表示，若能解出 $Ax$ 乘以x帽等于 $b$ 就太好了，但我们无法做到，因为不存在一条过原点的二次曲线能同时经过这三个点。
公式
观察依据
他在黑板上写下‘无法解出 $A\widehat{x}=b$ ’。

误区

人们可能认为，一旦拟合问题被重写为 $A\widehat{x}=b$ ，就应当存在一个精确解。

说明

该片段明确指出所构造的方程组可能是不相容的；此处，不存在一条过原点的二次曲线能同时经过全部三个点，因此我们必须转而寻求最佳近似解。

误以为任意右侧向量都能被 $A\widehat{x}$ 实现

依据清楚

视频直接表达

来源依据

声音
观察依据
他说：只有当 $A\widehat{x}$ 等于某个向量且该向量位于 $A$ 的列空间中时，我们才有可能解出该方程。

误区

人们可能忽略： $A\widehat{x}$ 只能生成位于 $A$ 列空间内的向量。

说明

教师利用这一限制条件，在求解最小二乘问题时，将 $b$ 替换为其在 $\operatorname{Col}(A)$ 上的投影。

转置矩阵中符号位置放错

依据清楚

视频直接表达

来源依据

声音
观察依据
讲师说：‘我把负号写错位置了，谢谢指正。感谢这个纠正，我刚才把负号写反了。’
图示
观察依据
他擦去已写出的 $A^T A$ 乘积的一部分，并在继续之前重写了修正后的转置矩阵。

误区

手工计算 $A^T A$ 时，负号可能被错误地加在转置矩阵的某个元素上。

说明

视频中，教师在继续进行乘法运算之前，已在黑板上明确纠正了这一错误。

误将最小二乘拟合当作插值曲线

依据清楚

视频直接表达

来源依据

声音
观察依据
在 01:44.480-01:52.240 处，教师说：‘很好，还值得指出的是，这三个点显然不在该二次方程曲线上。’
声音
观察依据
在 01:52.240-01:56.640 处，他说：‘例如，若将一在此处代入，我得到的不是一一，而是一三。’
声音
观察依据
在 01:57.600-01:59.840 处，他补充道：‘但这没关系。’

误区

人们可能期望最佳拟合的二次函数经过每一个数据点。

说明

视频明确指出，这三个点并不在拟合的二次曲线上；在 $t=1$ 处，拟合值为 3，而非观测值 1，而这对于最小二乘近似而言是可接受的。

试图直接求解超定方程组

依据清楚

视频直接表达

来源依据

图示
观察依据
左侧黑板上写着‘无法求解 $A\widehat{x}=b$ 。’，其旁为‘实际求解 $A^T A\widehat{x}=A^T b$ 。’

误区

人们可能会尝试精确求解超定最小二乘问题 $A\widehat{x}=b$ 。

说明

黑板上的对比表明，该直接方程组在此处无解，因此正确路径是法方程 $A^T A\widehat{x}=A^T b$ 。

概念关系 · 16

主题：最小二乘近似 → 过原点的三点最佳拟合二次函数

依据清楚

视频直接表达

来源依据

声音
观察依据
教师引入最小二乘逼近，并立即给出一个具体的拟合问题。

应用

解释

最小二乘逼近这一通用主题被应用于一个具体的二次拟合示例。

过原点意味着常数项为零 → 过原点的二次模型

依据清楚

视频直接表达

来源依据

声音
观察依据
教师利用过原点这一条件，来说明为何在所写的模型中可以省略常数项。

证明依赖

解释

关于常数项为零的论断，直接支持了具体形式 $ct+dt^2=y$ 。

过原点的二次模型 → 开始建立矩阵方程

依据清楚

视频直接表达

来源依据

声音
观察依据
在确立模型后，教师指出下一步是建立矩阵方程，并开始书写 $A$ 。

待核验内容

本片段中未完成整个矩阵方程。

应用

解释

所选的二次模型决定了设计矩阵 $A$ 的构造方式。

过原点的二次函数最小二乘拟合问题 → 为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

依据清楚

视频直接表达

来源依据

声音
观察依据
写出矩阵后，教师通过逐行相乘，并与代入 $ct+dt^2=y$ 后的结果进行比较，来解释这些矩阵的含义。

应用

解释

一般拟合问题通过将每个数据点转化为矩阵方程的一行，得到了具体应用。

为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点 → 精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。

依据清楚

视频直接表达

来源依据

声音
观察依据
他从解释各行过渡到指出：对这些点而言，精确方程组无解。

证明依赖

解释

逐行解释表明，求解 $A\widehat{x}=b$ 意味着严格满足全部三个点所对应的方程，而视频片段随即声明这是不可能的。

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。 → 最小二乘解即为向列空间的投影

依据清楚

视频直接表达

来源依据

声音
观察依据
他指出，由于无法求解精确方程组，因此最佳近似解是将 $b$ 投影到 $A$ 的列空间上所得。

推广

解释

投影形式将失败的精确求解推广为标准的最小二乘替换，适用于 $b\notin\operatorname{Col}(A)$ 的情形。

过原点的二次函数最小二乘拟合问题 → 建立一个经过原点的最小二乘二次拟合

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上演示的内容，正是视频开头所陈述的例题，包含给定的三个点。

包含

解释

该例题是视频开头所引入的最小二乘拟合定义的一个具体实例。

直接求解线性方程组 $A\hat{x}=b$ 是不可行的 → 最小二乘法的正规方程

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上并列写着“无法求解 $A\hat{x}=b$ ”和“实际求解 $A^T A \hat{x} = A^T b$ ”。
声音
观察依据
教师指出，最小二乘问题等价于求解正规方程组。

应用

解释

由于所展示的原始方程组被标记为不可解，课程转而采用正规方程组方法来替代求解。

计算 $A^T A$ → 代入后的正规方程组

依据清楚

视频直接表达

来源依据

公式
观察依据
将已算出的矩阵 $A^T A$ 和向量 $A^T b$ 代入最终显示的方程组中。

证明依赖

解释

最终的具体方程组依赖于先前算出的左侧矩阵〔 $A^T A$ 〕。

计算 $A^T b$ → 代入后的正规方程组

依据清楚

视频直接表达

来源依据

公式
观察依据
已算出的向量〔 $A^T b$ 〕出现在最终方程组的右侧。

证明依赖

解释

最终的具体方程组也依赖于已算出的右侧项〔 $A^T b$ 〕。

最小二乘法的正规方程 → 对 $2\times 2$ 正规方程组进行的消元步骤

依据清楚

视频直接表达

来源依据

公式
观察依据
约化后的三角方程组紧邻写在法方程组右侧。

应用

解释

消元法被直接应用于黑板上所示的 $2\times 2$ 法方程组。

对 $2\times 2$ 正规方程组进行的消元步骤 → 从三角形方程组进行回代

依据清楚

视频直接表达

来源依据

声音
观察依据
教师称他们在修改 b 向量后进行‘回代求解’。
公式
观察依据
三角方程组导出 $d=-5/2$ ，然后 $c=11/2$ 。

证明依赖

解释

回代求解依赖于先前的消元步骤产生一个上三角方程组。

问题定位 · 20

本片段正在介绍什么主题？

依据清楚

视频直接表达

来源依据

声音
观察依据
教师指出该问题涉及最小二乘逼近。

涉及知识点

主题：最小二乘近似

为什么这个二次方程中没有常数项？

依据清楚

视频直接表达

来源依据

声音
观察依据
教师解释道，“过原点”意味着常数项为零。

涉及知识点

过原点意味着常数项为零
过原点的二次模型

教师如何开始为这个最小二乘问题建立矩阵方程？

依据清楚

视频直接表达

来源依据

声音
观察依据
教师表示下一步是建立矩阵方程，并开始用第一个坐标填充 $A$ 的第一列。

待核验内容

仅展示了第一列。

涉及知识点

开始建立矩阵方程

例题中使用了哪些数据点？

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
黑板上列出了点 $(1,1)$ 、 $(2,5)$ 和 $(-1,-2)$ 。

涉及知识点

过原点的三点最佳拟合二次函数

为何在此二次拟合中， $A$ 的第二列包含 $1$ 、 $4$ 和 $1$ ？

依据清楚

视频直接表达

来源依据

声音
观察依据
教师解释说，第二列是第一坐标的平方。

涉及知识点

过原点的二次函数最小二乘拟合问题
为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

向量 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ 是从哪里来的？

依据清楚

视频直接表达

来源依据

声音
观察依据
他指出， $b$ 源于将各点代入等式右端，因此其元素即为各点的 $y$ 坐标。

涉及知识点

过原点的二次函数最小二乘拟合问题
为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

为什么我们不能在这里直接精确求解 $A\widehat{x}=b$ ？

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上明确写着“无法求解 $A\widehat{x}=b$ ”。
声音
观察依据
他解释道：不存在一个过原点的二次函数能同时经过全部三个点。

涉及知识点

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。
没有一个精确的过原点的二次函数能同时拟合这三个点。

用 $b$ 在 $A$ 的列空间上的投影来替代它，意味着什么？

依据清楚

视频直接表达

来源依据

声音
观察依据
他说，最佳近似等价于求解 $A\widehat{x}$ 等于 $b$ 在 $A$ 的列空间上的投影。

涉及知识点

最小二乘解即为向列空间的投影
最佳逼近通过将 $b$ 投影到 $\operatorname{Col}(A)$ 上获得。

为什么为了使 $A$ 可解，右侧必须位于 $A\widehat{x}$ 的列空间中？

依据清楚

视频直接表达

来源依据

声音
观察依据
他说，只有当 $A\widehat{x}$ 等于某个向量时，该向量位于 $A$ 的列空间中，我们才有可能求解这个等式。

涉及知识点

最小二乘解即为向列空间的投影
误以为任意右侧向量都能被 $A\widehat{x}$ 实现

为什么讲座将 $A\hat{x}=b$ 替换为 $A^T A \hat{x} = A^T b$ ？

依据清楚

视频直接表达

来源依据

声音
观察依据
教师表示，这等价于求解 A 转置 A x 帽等于 A 转置 b。
公式
观察依据
黑板上写着“实际求解 $A^T A \hat{x} = A^T b$ ”。

涉及知识点

直接求解线性方程组 $A\hat{x}=b$ 是不可行的
最小二乘法的正规方程

对于黑板上显示的矩阵 A，如何计算 $A^T A$ ？

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上展示了 $A^T A$ 的完整乘法运算，结果为 [[6, 8], [8, 10]]。

涉及知识点

计算 $A^T A$

在此最小二乘示例中， $A^T b$ 是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
黑板上显示 $A^T b = [[1, 2, -1], [1, 4, 1]] [[1], [5], [-2]] = [[13], [19]]$ 。

涉及知识点

计算 $A^T b$

覆盖情况与待核验内容

已覆盖 · 标有课程名称与主题的标题页。

已覆盖 · 教师朗读最小二乘二次拟合问题，并为观众稍作停顿。

已覆盖 · 教师选取模型 $ct+dt^2=y$ ，并解释为何常数项为零。

已覆盖 · 教师通过写出 $A$ 并用 $t$ 坐标填充其第一列，开始构建矩阵。

已覆盖 · 黑板上的题目陈述，以及 $A$ 、 $\widehat{x}$ 和 $b$ 的构造过程被展示并加以解释。

已覆盖 · 教师通过将 $A\widehat{x}=b$ 的各行与将三个点直接代入 $ct+dt^2=y$ 所得结果一一对应，验证了设定的正确性。

已覆盖 · 由于不存在一个过原点的二次函数能同时经过全部三个点，该精确方程组被判定为无解。

已覆盖 · 最小二乘问题被重新表述为将 $b$ 投影到 $A$ 的列空间上；视频片段在此处结束，未进行后续计算。

已覆盖 · 视频片段以黑板上的模型和矩阵开场，指出 $A\hat{x}=b$ 无法直接求解，并将正规方程写为实际要解的问题。

已覆盖 · 教师写完正规方程表述后、准备开始计算的简短过渡。

已覆盖 · 教师计算 $A^T A$ ，发现并更正了一个错位的负号，然后写出所得矩阵 [[6, 8], [8, 10]]。

已覆盖 · 完成 $A^T A$ 计算与开始计算 $A^T b$ 之间的短暂停顿。

已覆盖 · 教师计算 $A^T b$ ，并写出所得向量 [[13], [19]]。

已覆盖 · 将计算出的各部分代回，得到最终展示的方程组 [[6, 8], [8, 10]] $\hat{x} = [[13], [19]]$ .

已覆盖 · 黑板上展示了 $A^T A$ 、 $A^T b$ 、正规方程以及消元步骤所得的三角方程组。

已覆盖 · 教师回代求解，得到 $d=-5/2$ 和 $c=11/2$ 。

已覆盖 · 将系数代入模型，并写出最终加框的方程。

已覆盖 · 镜头向左平移，教师回顾从标量形式到矩阵形式再到正规方程的一般工作流程。

已覆盖 · 教师指出拟合抛物线不经过数据点，并给出 $t=1$ 处的验证。

已覆盖 · 影片中，講師以總結性致辭結束講解，同時黑板上完整呈現了最小二乘計算過程與最終結果。

探索视频中的知识

已审核的主题路径

最小二乘拟合

最小二乘逼近

把讲解展开来看。

章节

学习解说文稿

知识卡片

最小二乘逼近问题的设定

过原点的二次函数没有常数项

矩阵形式化的第一步

过原点的二次函数拟合模型

三个数据点对应的设计矩阵

未知向量与观测向量

Ax^=bA\widehat{x}=bAx=b的逐行含义

为何精确方程组无解

最小二乘法即向列空间投影

正规方程用于替代一个无解的方程组。

例题中的具体矩阵

计算 ATAA^T AATA

计算 ATbA^T bATb

最终代入后的最小二乘方程组

书写 ATA^TAT 时的符号位置误区

黑板上展示的正规方程

用于将系统化为三角形的消元步骤

回代得出系数

最终拟合的、过原点的二次函数

最小二乘法工作流程回顾

最小二乘拟合未必经过数据点

最小二乘拟合方程

详细学习笔记

c

d

t

y

A

ct+dt2=ydt^2=ydt2=y

A

x^\widehat{x}x

b

(1,1), (2,5), (-1,-2)

column space of A

A

主题：最小二乘近似

过原点的二次模型

过原点的二次函数最小二乘拟合问题

为何矩阵Ax^=bA\widehat{x}=bAx=b的每一行对应一个数据点

精确的方程组Ax^=bA\widehat{x}=bAx=b在此处是不相容的。

最小二乘解即为向列空间的投影

最小二乘法的正规方程

直接求解线性方程组 Ax^=bA\hat{x}=bAx^=b 是不可行的

计算 ATAA^T AATA

计算 ATbA^T bATb

代入后的正规方程组

最小二乘法的正规方程

过原点意味着常数项为零

没有一个精确的过原点的二次函数能同时拟合这三个点。

最佳逼近通过将bbb投影到Col⁡(A)\operatorname{Col}(A)Col(A)上获得。

最小二乘问题通过正规方程求解

消元过程中使用的明确行运算

已解出的系数值

最佳拟合曲线未必经过数据点

根据题目描述建立二次模型。

开始建立矩阵方程

从逐点代入推导矩阵方程

从不一致的精确拟合转向投影最小二乘系统

从正规方程到一个具体的2×22\times 22×2方程组

由正规方程推导系数的过程

由已解出的系数组装拟合二次函数。

从矩阵方程推导出拟合方程

过原点的三点最佳拟合二次函数

建立一个经过原点的最小二乘二次拟合

ct + dt2=ydt^2 = ydt2=y 的最小二乘设定

过原点的二次函数的最小二乘拟合

课程标题幻灯片

黑板上的问题陈述

写出二次模型

开始构建设计矩阵

在黑板上构建最小二乘设定

从不可解的方程组转向正规方程组

数值型正规方程组的分步构建

右半黑板计算画面

回顾镜头平移至设定黑板

$A\widehat{x}=b$ 的逐行含义

计算 $A^T A$

计算 $A^T b$

书写 $A^T$ 时的符号位置误区

ct+ $dt^2=y$

$\widehat{x}$

为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。

直接求解线性方程组 $A\hat{x}=b$ 是不可行的

计算 $A^T A$

计算 $A^T b$

最佳逼近通过将 $b$ 投影到 $\operatorname{Col}(A)$ 上获得。

从正规方程到一个具体的 $2\times 2$ 方程组

ct + $dt^2 = y$ 的最小二乘设定

误以为任意右侧向量都能被 $A\widehat{x}$ 实现

过原点的二次函数最小二乘拟合问题 → 为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点

为何矩阵 $A\widehat{x}=b$ 的每一行对应一个数据点 → 精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。

精确的方程组 $A\widehat{x}=b$ 在此处是不相容的。 → 最小二乘解即为向列空间的投影

直接求解线性方程组 $A\hat{x}=b$ 是不可行的 → 最小二乘法的正规方程

计算 $A^T A$ → 代入后的正规方程组

计算 $A^T b$ → 代入后的正规方程组

最小二乘法的正规方程 → 对 $2\times 2$ 正规方程组进行的消元步骤

对 $2\times 2$ 正规方程组进行的消元步骤 → 从三角形方程组进行回代

为何在此二次拟合中， $A$ 的第二列包含 $1$ 、 $4$ 和 $1$ ？

向量 $b=\begin{pmatrix}1\\5\\-2\end{pmatrix}$ 是从哪里来的？

为什么我们不能在这里直接精确求解 $A\widehat{x}=b$ ？

用 $b$ 在 $A$ 的列空间上的投影来替代它，意味着什么？

为什么为了使 $A$ 可解，右侧必须位于 $A\widehat{x}$ 的列空间中？

为什么讲座将 $A\hat{x}=b$ 替换为 $A^T A \hat{x} = A^T b$ ？

对于黑板上显示的矩阵 A，如何计算 $A^T A$ ？

在此最小二乘示例中， $A^T b$ 是什么？