最小二乘近似

1. 声音
   观察依据

   说话者说：“假设我有一个矩阵 A。”

2. 公式
   观察依据

   左上角写有黄色手写的 $A$。

A

一个 $n \times k$ 矩阵，其列用于构成线性组合。

$A \in \mathbb{R}^{n \times k}$

1. 声音
   观察依据

   说话者说：“我有方程 Ax 等于 b”，随后又说“x 必须是 Rk 的成员”。

2. 公式
   观察依据

   黄色手写的 $\vec{x}$ 出现在 $A\vec{x}=\vec{b}$ 中，旁边写有 $\vec{x}\in\mathbb{R}^k$。

$\vec{x}$

矩阵方程 $A\vec{x}=\vec{b}$ 中的未知向量。

$\vec{x}\in\mathbb{R}^k$

1. 声音
   观察依据

   说话者说：“Ax 等于 b”以及“b 是 Rn 的成员”。

2. 公式
   观察依据

   黄色手写的 $\vec{b}$ 出现在 $A\vec{x}=\vec{b}$ 中，旁边写有 $\vec{b}\in\mathbb{R}^n$。

$\vec{b}$

方程 $A\vec{x}=\vec{b}$ 中的右侧向量。

$\vec{b}\in\mathbb{R}^n$

1. 声音
   观察依据

   The speaker says, "it's an n by k matrix" 且 explains that $x$ has $k$ entries because there are $k$ columns.

2. 公式
   观察依据

   黄色手写的 $n \times k$ 位于 $A$ 下方。

n, k

$A$ 的维度：$n$ 行和 $k$ 列。

正整数

1. 声音
   观察依据

   说话者说：“如果我这样写 A，A1，A2……一直到 Ak”，并将它们称为列向量。

2. 公式
   观察依据

   初始方程下方写有粉色手写的括号表达式 $[\vec{a}_1\ \vec{a}_2\ \cdots\ \vec{a}_k]$。

$\vec{a}_1$,$\vec{a}_2$,$\ldots$,$\vec{a}_k$

$A$ 的列向量，索引从 $1$ 到 $k$。

每个 $\vec{a}_j$ 是 $A$ 的一列；因此 $\vec{a}_j\in\mathbb{R}^n$

1. 声音
   观察依据

   说话者说：“乘以 x1，x2 一直到 xk。”

2. 公式
   观察依据

   粉色手写的列向量 $\begin{bmatrix}x_1\\x_2\\\vdots\\x_k\end{bmatrix}$ 写在 $A$ 的列展开式旁边。

$x_1$,$x_2$,$\ldots$,$x_k$

未知向量 $\vec{x}$ 的标量分量，用作 $A$ 各列的权重。

$x_j\in\mathbb{R}$ for $j=1,\ldots,k$

1. 声音
   观察依据

   说话者说：“b 不在 A 的列空间中。”

2. 公式
   观察依据

   黄色手写文字陈述“$\vec{b}$ 不在 $C(A)$ 中”。

$C(A)$

$A$ 的列空间，即 $A$ 的所有列的线性组合构成的集合。

$\mathbb{R}^n$ 的子空间

1. 声音
   观察依据

   说话者说：“我现在想找到某个 x star，使得 A 乘以 x star 是……”

2. 公式
   观察依据

   左下角出现黄色手写的 $\vec{x}^*$，后面跟着“其中 $A\vec{x}^*$”。

1. $A\vec{x}^*$ 之后的句子和显示的条件在完成之前被截断。

$\vec{x}^*$

当 $A\vec{x}=\vec{b}$ 没有精确解时，为更好的近似解引入的候选向量。

Intended to lie in $\mathbb{R}^k$ by analogy with $\vec{x}$, but the clip does not explicitly restate the domain

1. 公式
   观察依据

   矩阵 A 出现在 $A x = b$ 中，并被描述为 $n\times k$。

2. 声音
   观察依据

   演讲者提到将向量乘以矩阵 A 会得到其列空间中的一个成员。

A

一个 $n\times k$ 矩阵，其列张成 $C(A)$。

$n\times k$ 矩阵

1. 公式
   观察依据

   $x \in R^k$ 写在 $A x = b$ 旁边。

2. 声音
   观察依据

   演讲者说 $R^k$ 中的任意向量乘以矩阵 A 都会得到列空间中的一个成员。

x

$R^k$ 中的未知向量。

$R^k$

1. 公式
   观察依据

   $b \in R^n$ 写在 $A x = b$ 旁边。

2. 声音
   观察依据

   演讲者反复提到使 Ax* 尽可能接近 b。

b

$R^n$ 中的目标向量，在此设定下通常位于 $C(A)$ 之外。

$R^n$

1. 公式
   观察依据

   x* 在“x* 使得 Ax* 尽可能接近 b”这一行中被引入。

2. 声音
   观察依据

   演讲者通过最小化 ||b - Ax*|| 来定义 x*。

x^*

选择的向量，使得 Ax* 是 $C(A)$ 中离 b 最近的点。

$R^k$

1. 声音
   观察依据

   The speaker introduces a matrix $A$ that is $n$ by $k$ 且 the equation $Ax=b$, then states the dimensions of $x$ 且 $b$.

2. 公式
   观察依据

   黄色手写的 $A$、$n\times k$、$A\vec{x}=\vec{b}$、$\vec{x}\in\mathbb{R}^k$ 和 $\vec{b}\in\mathbb{R}^n$ 出现在黑板顶部。

片段始于写成 $A\vec{x}=\vec{b}$ 的一般线性系统，其中 $A$ 是一个 $n\times k$ 矩阵。维度兼容性迫使 $\vec{x}$ 有 $k$ 个分量且 $\vec{b}$ 有 $n$ 个分量，因此 $\vec{x}\in\mathbb{R}^k$ 且 $\vec{b}\in\mathbb{R}^n$。

1. $A$ 有 $n$ 行和 $k$ 列

2. The product $A\vec{x}$ is defined only when $\vec{x}$ has $k$ entries

3. 结果向量有 $n$ 个分量，与 $\vec{b}$ 匹配

1. A
2. $\vec{x}$
3. $\vec{b}$
4. n, k

1. 声音
   观察依据

   说话者将 $A$ 展开为其列向量并乘以 $x$ 的分量，称这是同一方程的重写。

2. 公式
   观察依据

   写有粉色手写的 $[\vec{a}_1\ \vec{a}_2\ \cdots\ \vec{a}_k]\begin{bmatrix}x_1\\x_2\\\vdots\\x_k\end{bmatrix}=\vec{b}$，随后是 $x_1\vec{a}_1+x_2\vec{a}_2+\cdots+x_k\vec{a}_k=\vec{b}$。

方程 $A\vec{x}=\vec{b}$ 通过用其列表示 $A$ 来重写。将列展开的矩阵乘以分量向量得到 $A$ 的各列的加权和，表明求解 $A\vec{x}=\vec{b}$ 等价于寻找能将 $\vec{b}$ 表示为 $A$ 的各列的线性组合的权重。

1. $\vec{a}_j$ denotes the $j$th column of $A$

2. $x_j$ denotes the $j$th component of $\vec{x}$

3. 该等价性使用了矩阵-向量乘法的标准列解释

1. 矩阵方程设置与维度匹配
2. $\vec{a}_1$,$\vec{a}_2$,$\ldots$,$\vec{a}_k$
3. $x_1$,$x_2$,$\ldots$,$x_k$

1. 声音
   观察依据

   说话者说没有解，然后解释说这意味着没有任何一组 $A$ 的列向量的权重能得到 $b$，等价地，没有线性组合等于 $b$，最后说 $b$ 不在 $A$ 的列空间中。

2. 公式
   观察依据

   青色手写文字写着“$A\vec{x}=\vec{b}$ 无解”；黄色手写文字写着“$\vec{b}$ 不在 $C(A)$ 中”。

当 $A\vec{x}=\vec{b}$ 无解时，向量 $\vec{b}$ 不能获得为 $A$ 的各列的任何线性组合。片段在几何上将其命名为 $\vec{b}$ 不在列空间 $C(A)$ 中。

1. $C(A)$ 是 $A$ 的各列的所有线性组合的集合

2. 该等价性是针对正在讨论的特定系统陈述的

1. 矩阵-向量乘积作为列的线性组合
2. $C(A)$

1. 公式
   观察依据

   黑板上写着“No solution to Ax = b”并展示了等价的列组合方程。

2. 图示
   观察依据

   标记为 b 的青色箭头指向标记为 $C(A)$ 的紫色平面之外，并有文字“b is not in the $C(A)$”。

本段从精确线性系统 Ax=b 无解的情况开始，因为 b 不属于 A 的列空间。视频将 Ax 既表示为矩阵乘积，又表示为 A 的列的线性组合，明确指出可解性要求 b 位于 $C(A)$ 中。

1. A 是 $n\times k$

2. $x \in R^k$

3. $b \in R^n$

4. 在动机图中 b ∉ $C(A)$

1. 公式
   观察依据

   演讲者写下“minimize ||b - Ax*||”。

2. 声音
   观察依据

   他说，“当我说接近时，我指的是长度”，并且“我想最小化 b 减去 Ax* 的长度”。

3. 图示
   观察依据

   向量 Ax* 在 $C(A)$ 内被标识为 v，而 b 仍在平面之外。

最小二乘思想是通过几何方式引入的：选择 x* 使得 Ax*（视为列空间中的一个点 v）尽可能接近 b。接近程度由向量长度衡量，因此问题变为最小化残差 b - Ax* 的范数。

1. Ax* 必须位于 $C(A)$ 中

2. 距离由欧几里得长度衡量

1. 当 b 在 $C(A)$ 之外时，不相容系统 Ax=b

1. 声音
   观察依据

   演讲者说，“Ax 将是我的列空间的一个成员”，并重复任何 Ax 都在列空间中。

2. 公式
   观察依据

   他在图上写下 v = Ax*。

3. 图示
   观察依据

   向量 v 放置在标记为 $C(A)$ 的紫色平面内。

视频利用恒等式 v = Ax* 将优化转化为在 $C(A)$ 内的几何搜索。因为 Ax 始终是 A 的列的线性组合，候选输出向量必须保持在列空间中，任务是相对于 b 挑选最好的这样的向量。

1. $x* \in R^k$

2. A 是 $n\times k$

1. 当 b 在 $C(A)$ 之外时，不相容系统 Ax=b
2. 作为距离最小化的最小二乘目标

1. 公式
   观察依据

   黑板将范数展开为向量 [$b_1 - v_1$, $b_2 - v_2$, ..., $b_n - v_n$]^T。

2. 声音
   观察依据

   演讲者说取每个元素之间的差。

一旦引入 v = Ax*，残差 b - Ax* 就被重写为 b - v，然后显示为分量差的向量。这明确表明所最小化的距离取决于 b 与所选列空间向量 v 之间的所有坐标不匹配。

1. b,$v \in R^n$

1. 每个 Ax 都位于列空间 $C(A)$ 中
2. 作为距离最小化的最小二乘目标

1. 公式
   观察依据

   黑板显示 ||[$b_1-v_1$, ..., $b_n-v_n$]^T||^$2 = (b_1-v_1)^2 + (b_2-v_2)^2$ + ... + ($b_n-v_n$)^2。

2. 声音
   观察依据

   演讲者说，“这个长度的平方仅仅是...”，并列出平方项。

讲座将长度的几何最小化转化为平方和的代数最小化。通过对残差范数进行平方，目标函数变为关于分量误差的显式二次表达式，这激发了术语“最小二乘”。

1. 在 $R^n$ 上使用标准欧几里得范数

1. 分量形式写的残差向量

1. 声音
   观察依据

   演讲者说，“我想在这里得到最小二乘估计”，并解释这就是为什么它被称为最小二乘估计。

2. 公式
   观察依据

   黑板添加了标签“least squares”指向 x*。

在推导出残差平方和形式后，视频将对象 x* 命名为最小二乘估计，也称其为 Ax=b 的最小二乘解或最小二乘近似。该术语直接与最小化分量误差的平方和相关联。

1. 最小化是在 Ax* ∈ $C(A)$ 近似 b 上进行

1. 欧几里得长度的平方等于残差平方和
2. 作为距离最小化的最小二乘目标

1. 公式
   观察依据

   板上陈述“No solution to Ax=b”并引入 x^*，使 A x^* 尽可能接近 b。

2. 声音
   观察依据

   演讲者说这个方程无解，但也许我们可以找到某个 x^*，使得 A 乘以 x^* 尽可能接近 b。

当精确线性系统 Ax=b 不相容时，视频定义了一种最小二乘方法：选择 x^* 使得 A x^* 位于 A 的列空间中，并且尽可能接近 b。

1. Ax=b 没有精确解

2. A x^* 必须位于 $C(A)$ 中

1. 公式
   观察依据

   板上写有“minimize ||b - A x^*||”。

2. 声音
   观察依据

   演讲者说他们希望让这个向量尽可能接近 b。

最小二乘问题被表述为最小化 b 与 A x^* 之差的范数。

1. b 是固定的

2. x^* 是被选择的变量

1. 当 Ax=b 无解时的最小二乘设定

1. 声音
   观察依据

   演讲者说对于不在子空间中的向量，该子空间中最接近的向量是投影。

2. 公式
   观察依据

   板后来写有 A x^* = proj_{$C(A)$} b。

对于子空间外的向量，该子空间内最近的点是它在该子空间上的正交投影。在本课中，子空间是 $C(A)$。

1. $C(A)$ 被视为子空间

2. b 不在 $C(A)$ 中

1. 当 Ax=b 无解时的最小二乘设定

1. 声音
   观察依据

   说话者陈述了描述同一种情况的三种等价方式：列上没有权重能达到 $b$，没有线性组合等于 $b$，以及 $b$ 不在 $A$ 的列空间中。

2. 公式
   观察依据

   黑板显示了展开的线性组合方程和陈述“$\vec{b}$ 不在 $C(A)$ 中”。

对于系统 $A\vec{x}=\vec{b}$，无解等价于说 $\vec{b}$ 不是 $A$ 的各列的线性组合，等价于 $\vec{b}\notin C(A)$。

1. $A$ 是一个 $n\times k$ 矩阵

2. $\vec{x}\in\mathbb{R}^k$ 且 $\vec{b}\in\mathbb{R}^n$

3. $C(A)$ 表示 $A$ 的列空间

For the given matrix $A$ 且 vector $\vec{b}$, the absence of any $\vec{x}$ satisfying $A\vec{x}=\vec{b}$ is equivalent to $\vec{b}\notin C(A)$.

1. 公式
   观察依据

   黑板明确陈述“b is not in the $C(A)$”。

2. 图示
   观察依据

   青色向量 b 画在紫色平面 $C(A)$ 之外。

3. 声音
   观察依据

   口头解释继续基于 Ax=b 无解的前提。

在所示设定中，因为 b 不在列空间 $C(A)$ 中，方程 Ax=b 无解。

1. A 是 $n\times k$

2. $x \in R^k$

3. $b \in R^n$

4. b ∉ $C(A)$

对于此示例设定中显示的 A, x 和 b。

1. 声音
   观察依据

   演讲者说，“任何 Ax 将在你的列空间中”并重复该陈述。

2. 公式
   观察依据

   他写下 v = Ax* 并将 v 放在 $C(A)$ 内。

对于任意 $x \in R^k$，向量 Ax 是列空间 $C(A)$ 的成员。

1. A 是 $n\times k$

2. $x \in R^k$

对于 $R^k$ 中的所有 x。

1. 公式
   观察依据

   目标函数写为 minimize ||b - Ax*||。

2. 声音
   观察依据

   演讲者说他希望 Ax* 尽可能接近 b，并将 Ax* 识别为 $C(A)$ 中的 v。

选择 x* 以最小化 ||b - Ax*|| 等价于在 $C(A)$ 中选择离 b 最近的向量 v = Ax*。

1. $b \in R^n$

2. A 是 $n\times k$

3. $x* \in R^k$

4. 距离由欧几里得范数衡量

对于不相容系统设定中的给定 A 和 b。

1. 公式
   观察依据

   黑板显示平方范数与分量差平方和之间的相等关系。

2. 声音
   观察依据

   演讲者口头推导相同的表达式作为长度的平方。

对于 b,$v \in R^n$，||b-v||^$2 = (b_1-v_1)^2 + (b_2-v_2)^2$ + ... + ($b_n-v_n$)^2。

1. b,$v \in R^n$

2. 标准欧几里得范数

对于所有分量索引 $i = 1$,...,n。

1. 声音
   观察依据

   演讲者陈述说，子空间中离 b 最近的向量是 b 到列空间的投影。

2. 图示
   观察依据

   图表显示 b 在平面 $C(A)$ 之外，并将平面内的最近点确定为投影。

如果 b 不在子空间中，那么该子空间内离 b 最近的向量是 b 到该子空间的正交投影。

1. 存在一个子空间，这里是 $C(A)$

2. b 是不在该子空间中的向量

对于给定的向量 b 和给定的子空间 $C(A)$。

1. 公式
   观察依据

   板上写有并框出 A x^* = proj_{$C(A)$} b。

2. 声音
   观察依据

   演讲者说 Ax 需要等于 b 在我的列空间上的投影。