没人这样教过奇异值分解（SVD）

1. 公式
   观察依据

   矩阵 A 显示为一个 $2\times 2$ 矩阵，其元素分别为 4、-2、2 和 1。

A

一个表示线性变换的 $2\times 2$ 矩阵。

$2\times 2$ 实矩阵

1. 公式
   观察依据

   向量 $v_1$ 最初显示为 [0.8, 0.6]^T，随后更新为 [0.334, 0.942]^T 和 [-0.336, -0.942]^T。

$v_1$

定义域空间中的一个单位向量，经矩阵 A 变换。

$R^2$ 中的单位向量

1. 公式
   观察依据

   方程 Av_1 = $y_1$ 已给出，且 $y_1$ 计算为 [2, 2.2]^T（对应初始的 $v_1$）

$y_1$

单位向量 $v_1$ 左乘矩阵 A 后所得的变换后向量。

$R^2$ 中的向量

1. 公式
   观察依据

   向量 $v_2$ 被引入，并随后显示为 [-0.942, 0.334]^T 和 [0.942, -0.336]^T。

$v_2$

定义域空间中的第二个单位向量，选为与 $v_1$ 正交。

$R^2$ 中的单位向量

1. 公式
   观察依据

   方程 Av_2 = $y_2$ 被展示出来。

$y_2$

将矩阵 A 与单位向量 $v_2$ 相乘后得到的变换向量。

$R^2$ 中的向量

1. 公式
   观察依据

   在方程 y = sigma u 中引入标量 sigma。

sigma

表示变换后向量 y 的模长的一个标量值。

实数

1. 公式
   观察依据

   矩阵 $A = [[4, -2], [2, 1]]$ 显示在屏幕左侧。

A

正在被分解的原始 $2\times 2$ 矩阵。

$2\times 2$ 实矩阵

1. 公式
   观察依据

   向量 $v_1 = [0.334, 0.942]^T$ 以蓝色显示。

$v_1$

第一个右奇异向量。

$R^2$ 中的单位向量

1. 公式
   观察依据

   向量 $v_2 = [-0.942, 0.334]^T$ 以红色显示。

$v_2$

第二个右奇异向量。

$R^2$ 中的单位向量

1. 公式
   观察依据

   计算并显示 $y_1$ = Av_1 = [-0.548, 1.61]^T。

$y_1$

对应于 $v_1$ 的变换后向量。

$R^2$ 中的向量

1. 公式
   观察依据

   $y_2$ = Av_2 = [-4.436, -1.55]^T 被计算并显示。

$y_2$

对应于 $v_2$ 的变换后向量。

$R^2$ 中的向量。

1. 公式
   观察依据

   ||$y_1$|| = sigma_1 = 1.7 以红色显示。

sigma_1

第一个奇异值，即 $y_1$ 的模长。

正实标量。

1. 声音
   观察依据

   讲述者指出目标是找到一组正交向量，使得它们在经矩阵 A 变换后仍保持正交。

2. 公式
   观察依据

   屏幕上‘正交’一词同时出现在输入向量与输出向量旁。

正交向量集是一组两两互相垂直的向量。在奇异值分解的语境中，目标是在定义域中找到一组特定的正交单位向量，使得当它们被矩阵 A 变换后，在值域中的像也彼此正交。

1. 定义域中的向量必须是单位向量。

2. 该变换由矩阵 A 定义。

1. 声音
   观察依据

   讲解者指出，由于$v_1$和$v_2$是单位向量，而$y_1$和$y_2$不是，因此y可用一个标量σ表示，该标量充当其模长。

当单位向量v经矩阵A变换为向量y时，所得向量y通常不再是单位向量。该变换后向量y的长度或模长称为奇异值，记作σ。它表示矩阵A将原单位向量拉伸或压缩的程度。

1. 输入向量v必须是单位向量。

2. 输出向量y是矩阵-向量乘法Av的结果。

1. 线性变换下的正交集

1. 声音
   观察依据

   讲解员说明：奇异值分解（SVD）将一个矩阵拆解为三项简单操作：旋转、拉伸、再旋转。

2. 公式
   观察依据

   公式 $A = U \Sigma V^T$ 被逐步推导得出。

SVD 将矩阵 A 分解为 $U \Sigma V^T$，其中 U 和 V 是正交矩阵，代表旋转或反射；$\Sigma$ 是对角矩阵，代表沿主轴方向的拉伸。

1. A 是一个实矩阵

2. U 和 V 均为正交矩阵

3. $\Sigma$ 的对角线元素均为非负数

1. 正交矩阵的性质

1. 声音
   观察依据

   讲解员指出：‘由于 V 是正交矩阵……V 的逆矩阵就等于 V 的转置。’

正交矩阵的列向量两两正交，且长度均为一；它的逆矩阵等于它的转置矩阵。

1. V 的列向量是标准正交的

1. 公式
   观察依据

   在约束条件 ||v|| = 1 下，||y|| 的最大值被展示出来。

2. 声音
   观察依据

   讲解员说明：奇异值分解（SVD）通过求解该优化问题来寻找最大拉伸程度。

奇异值分解（SVD）找出使变换后向量 Av 的模长最大的单位向量 v；该最大值即为最大的奇异值。

1. v 是一个单位向量

1. 奇异值分解定义

1. 声音
   观察依据

   SVD 通过降维并保留重要的奇异值，被用于图像压缩与去噪。

2. 公式
   观察依据

   展示 $A = UΣV^T$，并高亮标出 Σ 中的零列，随后将其舍弃。

SVD 通过舍弃 Sigma 矩阵中奇异值为零或极小的列来实现数据压缩，因为这些列对输出的贡献微乎其微；而保留下来的、对应最大奇异值的列则承载了大部分有意义的信息。

1. Sigma 矩阵按奇异值从大到小的顺序排列。

1. 声音
   观察依据

   讲解者将主成分分析（PCA）介绍为寻找数据散布方向的方法。

2. 图示
   观察依据

   显示一张以PC1和PC2为坐标轴的散点图。

PCA是一种用于识别数据变化最剧烈的方向（即主成分）的技术，可通过奇异值分解（SVD）求解。

1. SVD 在图像压缩中的应用

1. 公式
   观察依据

   屏幕上显示矩阵等式 AV = $U\Sigma$。

2. 声音
   观察依据

   讲解员说：“你可以看到 AV 等于 U 乘以 Sigma。”

对于所构造的矩阵 U、$\Sigma$ 和 V，等式 AV = $U\Sigma$ 成立。

1. 矩阵 A、U、$\Sigma$、V 的定义与奇异值分解（SVD）推导过程中的定义一致

适用于该具体示例矩阵

1. 声音
   观察依据

   讲解者说：‘现在我们来做一些代数运算，见证一些神奇之处……我们手头有这两个方程，对吧？$v_1$和$v_2$已经是单位向量，但$y_1$和$y_2$不是。因此我们可以用某个标量σ来表示它，该标量充当模长以及单位……’

2. 公式
   观察依据

   将方程Av_1 = $y_1$与Av_2 = $y_2$归为一组，随后写出表达式$y = σu$。

1. 公式

   $$Av_1 = y_1 \quad \text{且} \quad Av_2 = y_2$$
   解释

   从两个正交单位向量的给定变换方程出发。

   步骤依据

   对基向量所施加的线性变换的定义。

   视频直接表达
2. 公式

   $$\|v_1\| = 1, \quad \|v_2\| = 1$$
   解释

   注意，输入向量按构造即为单位向量。

   步骤依据

   音频中明确指出，并在视觉呈现中展示。

   视频直接表达
3. 公式

   $$\|y_1\| \neq 1, \quad \|y_2\| \neq 1$$
   解释

   注意，输出向量通常不是单位向量，因为矩阵 A 对它们进行了缩放。

   步骤依据

   直观可见，红色与栗色向量比蓝色输入向量更长。

   依据视频推导
4. 公式

   $$y = \sigma u$$
   解释

   将每个变换后的向量 y 表示为其模长（即奇异值）σ 与一个表示其方向的新单位向量 u 的乘积。

   步骤依据

   标准的向量分解：分解为模长与方向。

   视频直接表达

变换后的向量 $y_1$ 和 $y_2$ 可分解为一个标量模长（奇异值）与一个单位方向向量的乘积，从而构建出奇异值分解（SVD）的核心结构。

1. 公式
   观察依据

   从 $A[v_1 v_2] = [\sigma_1 u_1 \sigma_2 u_2]$ 到 $A = U\Sigma V^T$ 的逐步代数推导

1. 公式

   $$A [v_1 \quad v_2] = [\sigma_1 u_1 \quad \sigma_2 u_2]$$
   解释

   将各个变换 Av_i = $\sigma_i u_i$ 合并为一个矩阵方程。

   步骤依据

   矩阵与向量乘法及分块矩阵的定义。

   视频直接表达
2. 公式

   $$A [v_1 \quad v_2] = [u_1 \quad u_2] \begin{bmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \end{bmatrix}$$
   解释

   将等式右侧分解为由 u 向量构成的矩阵与对角矩阵 $\Sigma$。

   步骤依据

   矩阵乘法的性质。

   视频直接表达
3. 公式

   $$AV = U\Sigma$$
   解释

   代入 $V = [v_1 v_2]$, $U = [u_1 u_2]$, 以及 $\Sigma$ = diag($\sigma_1$, $\sigma_2$)。

   步骤依据

   矩阵 U、V、$\Sigma$ 的定义。

   视频直接表达
4. 公式

   $$(AV)V^{-1} = U\Sigma V^{-1}$$
   解释

   在等式两边右侧同时乘以 V 的逆矩阵。

   步骤依据

   代数运算。

   视频直接表达
5. 公式

   $$A = U\Sigma V^T$$
   解释

   利用正交矩阵 V 满足 $V^{-1} = V^T$ 的性质。

   步骤依据

   正交矩阵的性质。

   视频直接表达

矩阵 A 可分解为 $A = U\Sigma V^T$。

1. 声音
   观察依据

   我们发现σ的最后一列是零向量，因此直接舍弃σ中值为零的那些列，因为它们对输出不产生任何贡献。

2. 公式
   观察依据

   Σ的第三列为[0, 0]^T，并被划掉。

1. 公式

   $$Σ = [5, 0, 0; 0, 3, 0]$$
   解释

   在Σ矩阵中识别零列。

   步骤依据

   对所给Σ矩阵进行目视检查。

   视频直接表达
2. 公式

   $$Discard 3rd column of Σ \text{且} corresponding rows of V^T$$
   解释

   移除与零奇异值相关联的维度。

   步骤依据

   它们对矩阵乘法的输出不产生贡献。

   视频直接表达

零奇异值对应那些可安全移除而不会丢失信息的维度。

1. 公式
   观察依据

   $A = [[4, -2], [2, 1]]$, $v_1 = [[0.8], [0.6]]$, Av_1 = $y_1 = [[2], [2.2]]$

2. 动画
   观察依据

   一条深蓝色向量发生旋转，一条红色向量随之相应变换。

已知矩阵 $A = [[4, -2], [2, 1]]$ 与单位向量 $v_1 = [[0.8], [0.6]]$，求变换后得到的向量 $y_1$。

1. 矩阵 $A = [[4, -2], [2, 1]]$

2. 单位向量 $v_1 = [[0.8], [0.6]]$

计算将变换 A 应用于向量 v_ 后得到的向量 $y_1$ after applying the transformation A to $v_1$。

1. 公式

   $$y_1 = A v_1 = \begin{bmatrix} 4 & -2 \\ 2 & 1 \end{bmatrix} \begin{bmatrix} 0.8 \\ 0.6 \end{bmatrix}$$
   解释

   建立矩阵与向量的乘法运算。

   步骤依据

   线性变换的定义。

   视频直接表达
2. 公式

   $$y_1 = \begin{bmatrix} (4)(0.8) + (-2)(0.6) \\ (2)(0.8) + (1)(0.6) \end{bmatrix} = \begin{bmatrix} 3.2 - 1.2 \\ 1.6 + 0.6 \end{bmatrix} = \begin{bmatrix} 2 \\ 2.2 \end{bmatrix}$$
   解释

   进行算术运算，求出变换后向量的各个分量。

   步骤依据

   矩阵乘法的规则。

   依据视频推导

变换后的向量为 $y_1 = [[2], [2.2]]$。

可视化动画显示红色向量在坐标平面上大致指向点（2, 2.2）。

1. 公式
   观察依据

   throughout 展示了 A、$v_i$、$y_i$、$u_i$、$\sigma_i$ 的具体数值。

求矩阵 $A = [[4, -2], [2, 1]]$ 的奇异值分解（SVD）。

1. 矩阵 $A = [[4, -2], [2, 1]]$

2. 右奇异向量 $v_1 = [0.334, 0.942]^T$，$v_2 = [-0.942, 0.334]^T$

求矩阵 U、$\Sigma$ 和 V，使得 $A = U\Sigma V^T$。

1. 公式

   $$y_1 = Av_1 = [-0.548, 1.61]^T$$
   解释

   计算 A 对 $v_1$ 的变换。

   步骤依据

   矩阵与向量相乘。

   视频直接表达
2. 公式

   $$\sigma_1 = ||y_1|| = 1.7$$
   解释

   计算 $y_1$ 的模长，得到第一个奇异值。

   步骤依据

   奇异值的定义。

   视频直接表达
3. 公式

   $$u_1 = y_1 / \sigma_1 = [-0.322, 0.947]^T$$
   解释

   将 $y_1$ 归一化，得到第一个左奇异向量。

   步骤依据

   单位向量的定义。

   视频直接表达
4. 公式

   $$y_2 = Av_2 = [-4.436, -1.55]^T$$
   解释

   计算 A 对 $v_2$ 的变换。

   步骤依据

   矩阵与向量的乘法。

   视频直接表达
5. 公式

   $$\sigma_2 = ||y_2|| = 4.7$$
   解释

   计算 $y_2$ 的模长，得到第二个奇异值。

   步骤依据

   奇异值的定义。

   视频直接表达
6. 公式

   $$u_2 = y_2 / \sigma_2 = [-0.944, -0.33]^T$$
   解释

   将 $y_2$ 归一化，得到第二个左奇异向量。

   步骤依据

   单位向量的定义。

   视频直接表达
7. 公式

   $$V = [[0.334, -0.942], [0.942, 0.334]]$$
   解释

   由列向量 $v_1$ 和 $v_2$ 构造矩阵 V。

   步骤依据

   SVD 中矩阵 V 的定义。

   视频直接表达
8. 公式

   $$U = [[-0.322, -0.944], [0.947, -0.33]]$$
   解释

   由列向量 $u_1$ 和 $u_2$ 构造矩阵 U。

   步骤依据

   SVD 中矩阵 U 的定义。

   视频直接表达
9. 公式

   $$\Sigma = [[1.7, 0], [0, 4.7]]$$
   解释

   由奇异值构造对角矩阵 $\Sigma$。

   步骤依据

   SVD 中矩阵 $\Sigma$ 的定义。

   视频直接表达

令 $A = U\Sigma V^T$，其中 U、$\Sigma$ 和 V 为已计算出的矩阵。

矩阵组装过程及最终方程 $A = U\Sigma V^T$ 的可视化验证。

1. 公式
   观察依据

   矩阵 A、U、Σ 和 $V^T$ 被显式给出。

利用其奇异值分解（SVD）压缩矩阵 A = [3, 2, 2; 2, 3, -2]。

1. A = [3, 2, 2; 2, 3, -2]

2. U 等于一个二乘二的矩阵，第一行是 1 除以根号 2、1 除以根号 2，第二行是 1 除以根号 2、负的 1 除以根号 2。

3. 对应的式子为：Σ = [5, 0, 0; 0, 3, 0]

4. V 的转置矩阵等于 [1除以根号2, 1除以根号2, 0; 1除以根号18, 负1除以根号18, 4除以根号18; 2除以3, 负2除以3, 1除以3]

通过舍弃零奇异值得到压缩表示。

1. 公式Identify zero column in Σ
   解释

   Σ 的第三列为 [0, 0]^T。

   步骤依据

   直接观察该矩阵。

   视频直接表达
2. 公式Keep first two columns
   解释

   保留与非零奇异值 5 和 3 对应的 U 的列以及 $V^T$ 的行。

   步骤依据

   这些成分承载着有意义的信息。

   视频直接表达

压缩表示仅使用前两个奇异值（5和3）及其对应的向量。

被舍弃的列具有零奇异值，意味着它对乘积 $UΣV^T$ 的贡献恰好为零。

1. 图示
   观察依据

   一组图像网格，展示原始植物照片及其在不同 k 值下的重建结果。

仅使用前 k 个奇异值来重建图像。

1. 原始图像矩阵（$k=3648$）

2. 图像矩阵的奇异值分解（SVD）

观察 k 值变化对图像质量的影响。

1. 公式

   $$k = 1$$
   解释

   仅使用最大的奇异值来重建图像。

   步骤依据

   仅捕捉最基础的结构， resulting in 一幅模糊的图像。

   视频直接表达
2. 公式

   $$k = 5, 10, 20$$
   解释

   逐步增大 k，以包含更多奇异值。

   步骤依据

   更多细节和更清晰的特征逐渐显现。

   视频直接表达
3. 公式

   $$k = 200$$
   解释

   使用前200个分量。

   步骤依据

   生成一幅清晰锐利的图像，表明最重要的结构仅由全部分量中的一小部分即可捕获。

   视频直接表达

增大k可提升图像质量，当$k=200$时，重建图像在视觉上与原始图像（$k=3648$）相比无明显损失。

重建图像与原图的直观对比。

1. 动画
   观察依据

   深蓝色向量 $v_1$绕原点连续旋转，红色向量 $y_1$随之相应地改变其方向和长度。

1. 深蓝色向量 $v_1$

2. 红色向量 $y_1$

3. 坐标轴

1. $v_1$ 的角度持续增大。

2. The direction 且 magnitude of $y_1$ 的方向和模长随 v_ 非均匀地变化1旋转。

1. 在整个动画过程中，关系式 $y_1 = A v_1$ 始终成立。

2. $v_1$ 的长度始终保持为 1。

本动画直观展示了通用线性变换如何依据向量的初始方向，对其进行不同程度的拉伸、压缩和旋转。

1. 动画
   观察依据

   两个蓝色向量 $v_1$ 和 $v_2$ 同步旋转，且二者夹角恒为 90 度；对应的两个输出向量 $y_1$（红色）和 $y_2$（栗色）随之旋转，二者之间的夹角指示器动态波动，偶尔恰好达到 90 度。

1. 蓝色向量 $v_1$ 和 $v_2$

2. 红色向量 $y_1$

3. 栗色向量 $y_2$

4. 夹角指示器

1. 向量对 ($v_1$, $v_2$) 发生旋转。

2. $y_1$ 与 $y_2$ 之间的夹角动态变化。

3. 特别标出了某些特定朝向，此时 $y_1$ 与 $y_2$ 之间的夹角恰好为90度。

1. $v_1$ 与 $v_2$ 之间的夹角恒为90度。

2. $v_1$ 与 $v_2$ 的长度恒为1。

这展示了奇异值分解（SVD）中的核心搜索过程：在定义域中寻找一组正交的单位向量，使其在线性变换下的像也彼此正交。

1. 动画
   观察依据

   一个蓝色单位向量绕原点旋转，其在 A 作用下的像（红色向量）随之改变长度与方向。

1. 蓝色单位向量 v

2. 红色变换后向量 y = Av

3. 坐标轴

1. v 的角度连续变化

2. 随着 v 的旋转，y 的长度与角度同步变化

1. v 的长度保持为1

2. 关系式 y = Av 始终成立

展示了线性变换 A 如何对不同输入方向进行不同程度的拉伸与旋转。

1. 图示
   观察依据

   向量 $v_1$、$v_2$、$u_1$、$u_2$按对应的奇异值比例绘制长度。

1. 向量 $v_1$、$v_2$（蓝色）

2. 向量 $u_1$、$u_2$（红色/紫色）

3. 标签 $\sigma_1$、$\sigma_2$

1. $v_1$与$v_2$正交，且$u_1$与$u_2$正交

展示该线性变换的主轴方向，以及沿这些轴的缩放因子（即奇异值）。

1. 动画
   观察依据

   一个橙色圆圈标出Σ中的零列，随后一个红色叉号覆盖其上；接着用蓝色方框标出非零列。

1. 矩阵Σ

2. 橙色圆圈

3. 红色叉号

4. 蓝色方框

1. 零列被标出并划掉。

2. 非零列被框出。

1. 矩阵 U 和 $V^T$ 在此特定动画步骤中保持不变。

直观地演示了识别并舍弃方差或贡献为零的维度的过程。

1. 图示
   观察依据

   一个 $3\times 3$ 的图像网格出现，展示随着 k 值增大，植物照片逐步重建的过程。

1. 原始图像

2. $k = 1$、5、10、20、50、100、200 对应的重建图像

1. 随着 k 增大，图像变得越来越清晰、细节越来越丰富。

1. 所有图像中的主体（植物）保持不变。

说明了保留的奇异值个数（压缩程度）与重建数据保真度之间的权衡关系。

1. 图示
   观察依据

   一幅散点图，其中红色 'x' 表示数据点，并有两条绿色箭头，分别标注为 PC1 和 PC2。

1. 数据点（红色 x）

2. 主成分1轴（绿色箭头）

3. 主成分2轴（绿色箭头）

1. 无，静态图示。

1. 主成分相对于数据分布方向的朝向。

展示PCA如何寻找新的正交轴（PC1、PC2），使得投影后数据点的方差最大化。

1. 声音
   观察依据

   讲解者指出，许多视频演示了如何求出矩阵 V、Σ、U，却极少解释它们的实际含义。

仅将奇异值分解（SVD）当作一种计算算法来学习，而未理解 U、$\Sigma$ 和 V 的几何意义。

U 和 V 表示旋转变换或反射变换（即基底的改变），而 $\Sigma$ 表示沿新坐标轴方向的纯粹拉伸。

1. 声音
   观察依据

   讲述者将正交向量组的寻找与使用 σ 的代数表示联系起来。

找到特定的正交输入向量（$v_1$, $v_2$）是必要前提，只有在此之后，它们经变换所得的输出向量（$y_1$, $y_2$）才能被清晰地分解为模长（即奇异值）与正交方向两部分。

1. 声音
   观察依据

   讲解者利用正交矩阵的性质，将 V 的逆矩阵简化为 V 的转置。

最终 SVD 公式的推导依赖于正交矩阵的逆等于其转置这一性质。

1. 公式
   观察依据

   优化问题：最大化 ||Av|| 与矩阵 U 的第一列及最大的奇异值 σ 相关联。

求解奇异值分解（SVD）等价于求解一个优化问题：在单位向量上最大化其被拉伸的程度。

1. 声音
   观察依据

   讲解者指出，找出数据扩散方向的过程称为PCA，且可通过奇异值分解（SVD）求解。

奇异值分解（SVD）是一种用于计算数据集主成分分析（PCA）的数学工具。

1. 声音
   观察依据

   讲述者将 σ 引入为非单位长度变换后向量的模长。

1. 奇异值作为模长

1. 声音
   观察依据

   讲述者解释了寻找一组正交向量的目标：这些向量在变换后仍保持正交性。

1. 线性变换下的正交集

1. 声音
   观察依据

   整段视频聚焦于解释 SVD 各组成部分的含义。

1. 奇异值分解定义
2. 几何意义示意图

1. 公式
   观察依据

   给出了优化问题的数学表述形式。

1. 将奇异值分解（SVD）视为一个优化问题

1. 声音
   观察依据

   解释SVD如何通过舍弃零值或较小的奇异值得到数据压缩。

1. SVD 在图像压缩中的应用
2. 舍弃零奇异值
3. 压缩一个 $2\times 3$ 矩阵

1. 图示
   观察依据

   展示重建质量随k变化的图像网格。

1. 通过奇异值分解（SVD）进行图像压缩
2. 图像重建网格

1. 声音
   观察依据

   PCA被定义为寻找数据扩散方向的过程。

1. 主成分分析（PCA）
2. PCA 散点图
3. s330-cr-svd-pca