使用主成分分析进行降维：主成分分析的工作原理

1. 公式
   观察依据

   公式$\mathbf{x} = [x_1, x_2, \dots, x_D]^T \in \mathbb{R}^D$显示在屏幕上。

2. 声音
   观察依据

   讲述者提到同时处理包含数十个变量的复杂测量。

$\mathbf{x} = [x_1, x_2, \dots, x_D]^T \in \mathbb{R}^D$

一个列向量，表示D维实空间中具有D个特征的数据点。

D 维实数空间

1. 公式
   观察依据

   “x：鼻长”字样显示在“测量坐标”框中。

x

在3D维特征空间中代表鼻长的第一个坐标。

实数集

1. 公式
   观察依据

   “y：眼距”字样显示在“测量坐标”框中。

y

在3D维特征空间中代表眼距的第二个坐标。

实数集

1. 公式
   观察依据

   “z：下颌宽度”字样显示在“测量坐标”框中。

z

在3D维特征空间中代表下颌宽度的第三个坐标。

实数集

1. 公式
   观察依据

   显示文字：'人物 i ：（1.5，1.2，0.9）'。

(1.5, 1.2, 0.9)

一个表示某人面部测量数据的具体数据点。

3维实数空间

1. 公式
   观察依据

   蓝色箭头旁标有'主成分 1（最大延展）'。

$\text{PC 1}$

第一主成分，代表数据云中方差或延展程度最大的方向。

3维实数空间

1. 公式
   观察依据

   青色箭头旁标有'主成分 2'，该箭头垂直于主成分 1。

$\text{PC 2}$

第二主成分，代表下一个与之垂直且延展程度最大的方差方向。

3维实数空间

1. 公式
   观察依据

   右下角公式框显示 $d_\perp = \min_{\mathbf{p} \in \mathcal{P}}$ \|$\mathbf{x} - \mathbf{p}$\|。

2. 声音
   观察依据

   旁白指出，垂直下落线表示压缩过程中精确牺牲的距离。

$d_\perp$

点到所选平面的垂直距离，即正交投影所导致的信息损失量。

与点 $\mathbf{x}$ 和平面 $\mathcal{P}$ 关联的非负实数距离。

1. 公式
   观察依据

   公式在 \|$\mathbf{x} - \mathbf{p}$\| 中使用了 $\mathbf{x}$。

2. 图示
   观察依据

   3D 场景中的蓝色点是被投影到绿色平面上的对象。

$\mathbf{x}$

投影前，嵌入空间中原始的 3D 数据点。

ℝ^3 中的一个点/向量。

1. 公式
   观察依据

   最小化操作针对所有满足 $\mathbf{p} \in \mathcal{P}$ 的 $\mathbf{p}$ 进行。

2. 图示
   观察依据

   绿色平面上的黄色着陆标记对应于投影后的位置。

$\mathbf{p}$

用于定义垂直距离的最小化过程中的候选点（位于目标平面上）。

平面 $\mathcal{P}$ 中的一个点／向量。

1. 公式
   观察依据

   最小化运算的下标为 $\mathbf{p} \in \mathcal{P}$。

2. 图示
   观察依据

   一个半透明的绿色平面，是接收投影点的曲面。

$\mathcal{P}$

选定的2维平面（主平面），将3维数据正交投影到该平面上。

$\mathbb{R}^3$ 中的一个平面子集。

1. 公式
   观察依据

   该表达式包含 \|$\mathbf{x} - \mathbf{p}$\|。

\|$\cdot$\|

向量范数，用于度量差向量的欧几里得长度。

将向量映射为非负实数。

1. 声音
   观察依据

   讲述者解释将一个丰富的3维立体模型压平为一张2维照片的过程，指出不恰当的角度会导致重叠，而恰当的角度则能保留关键细节。

2. 动画
   观察依据

   一个3维点云被投影到一个2维平面上：首先投影到一个导致点重叠的平面（不恰当角度），再投影到一个能保持结构的倾斜平面（最优投影）。

降维可以被形象地理解为将一个高维物体投射其阴影到一个低维表面上。投影平面的选择决定了数据的结构信息是得以保留，还是因重叠模糊而丢失。

1. 高维数据必须被投影到一个低维子空间中。

2. 该投影理想情况下应尽可能保留原始数据的最大方差或结构。

1. 声音
   观察依据

   讲述者描述人类自然面部比例之间彼此关联，导致数据点聚集成一条拉长、倾斜的云状分布，而非像静态噪声那样随机散开。

2. 公式
   观察依据

   文字框依次显示：“假设：不相关的静态噪声”、“现实：倾斜的相关云状分布”以及“主方差方向：冗余维度可被压缩”。

在真实世界的数据集中，特征之间往往存在相关性。当这些特征在多维空间中绘制成图时，相关性会使数据点形成一条拉长、倾斜的云状分布，而非球形或随机分布。这种主方差方向表明某些维度是冗余的，因而可以被压缩。

1. 该数据集包含多个数值型特征。

2. 这些特征彼此之间呈现出自然的相关性。

1. 声音
   观察依据

   讲述者指出目标是找到恰好能捕捉最大可能多样性的2D平面，这一目标通过先识别最宽展方向、再识别与其垂直的次宽展方向来实现。

2. 动画
   观察依据

   两条正交向量（主成分1与主成分2）穿过点云中心，定义了一个半透明蓝色平面，标注为“最优2D投影画布”。

主成分分析通过识别最大方差的正交方向，找到最优的低维子空间。第一主成分（PC 1）与数据最宽的延展方向对齐，后续主成分（如 PC 2）则依次与下一个最宽的、且与之前成分垂直的延展方向对齐。它们共同定义了最优投影画布。

1. 数据必须经过中心化处理（隐含于向量均起始于数据云中心）。

2. 各主成分之间必须相互正交。

1. 相关特征云的几何结构

1. 声音
   观察依据

   讲解员说明，每个3D点都沿着理论上最短的路径运动，直至平直地落在所选平面上，且与该平面垂直。

2. 图示
   观察依据

   蓝色点沿竖直方向下移至绿色平面上的黄色标记处；虚线垂线保持可见。

3. 公式
   观察依据

   公式框定义 $d_\perp = \min_{\mathbf{p} \in \mathcal{P}}$ \|$\mathbf{x} - \mathbf{p}$\|。

该线段从几何上定义了正交投影：每个3D点均沿垂直于所选平面的方向竖直下移，直至抵达该平面。讲解员强调，这并非随意删除坐标轴，而是一种最短路径式的下落过程，仅舍弃垂直于目标画布的深度变化。

1. 已选定一个目标平面 $\mathcal{P}$。

2. 投影方向垂直于该平面。

3. 被舍弃的量是向量 $\mathbf{x}$ 在 $\mathcal{P}$ 法向上的分量。

1. 公式
   观察依据

   所显示的公式通过在 $\mathcal{P}$ 中所有点上取最小值，显式定义了 $d_\perp$。

2. 声音
   观察依据

   讲解员指出，这些垂直下落的连线展示了压缩过程中所牺牲的精确距离。

该公式将投影所导致的损失识别为原点 $\mathbf{x}$ 到平面 $\mathcal{P}$ 上任意一点 $\mathbf{p}$ 的最小欧氏距离。在此几何设定中，该最小值在垂足处实现。

1. x 是原始点。

2. P 是目标平面。

3. ‖·‖ 是一种向量范数，用于度量距离。

1. 正交阴影投影到一个平面上

1. 声音
   观察依据

   旁白说整个3D点云同步坍缩到二维表面上，每个点沿其轨迹向下滑动。

2. 图示
   观察依据

   多组垂直排列的蓝点降落在绿色平面上，留下虚线轨迹，并形成平面上的聚类。

3. 字幕依据
   观察依据

   屏幕文字包括‘坍缩至2D表面’，随后显示‘2D检查框架就绪’，并附有 ($x_1$,$x_2$,$x_3$) → ($x_1$,$x_2$)。

1. 屏幕上显示的 ($x_1$,$x_2$,$x_3$) → ($x_1$,$x_2$) 是一种简化的检查框架记号；而旁白在其他部分将该方法描述为向主成分的投影，而非字面意义上的坐标截断。

本节将降维过程可视化为一种集体运动：大量3D点沿彼此平行且垂直于平面的路径下落，最终形成更易检查的2D排布。类比卡片进一步强调：厚度消失，而平面上的模式得以保留。

1. 输入是一组位于3D空间中的点。

2. 选定一个2D平面作为检查表面。

3. 投影方向为该平面的法线方向。

1. 正交阴影投影到一个平面上

1. 声音
   观察依据

   旁白指出，该平面被提取为一个独立的二维坐标系；左侧每个面需要三个数字，右侧每个面需要两个数字。

2. 公式
   观察依据

   左侧面板显示 x ∈ ℝ^3，其向量为 [x_nose, x_eye, x_jaw]^T；右侧面板显示 z ∈ ℝ^2，其向量为 [$z_1$, $z_2$]^T = [[x ⋅ $e_1$], [x ⋅ $e_2$]]。

3. 图示
   观察依据

   并排面板对比原始的3维特征空间与提取出的2维主平面。

视频将几何投影转化为显式的坐标表示：原本由三个测量值描述的一张人脸，现改用两个标量坐标重新表达，即它在主成分方向 $e_1$ 和 $e_2$ 上的投影。并排显示强调：聚类结构得以保留，同时存储量减少。

1. 原始样本 𝐱 位于 ℝ^3 中。

2. 主方向 𝐞_1、𝐞_2 定义了2维坐标系。

3. 坐标通过与这些方向做点积获得。

1. 正交阴影投影到一个平面上
2. 3D点云坍缩至2D表面

1. 字幕依据
   观察依据

   底部横幅显示：“存储量减少：-33.3%（每张人脸由3个浮点数 → 2个浮点数）”。

2. 声音
   观察依据

   旁白指出，存储需求减少了百分之三十三，同时保持了各类别之间的相对聚类结构。

由于每张人脸从存储三个实数变为存储两个实数，视频将该节省量化为每个样本存储量减少33.3%；同时声称，在低维视图中，各受试者之间的相对聚类分离度得以保留。

1. 每个原始样本存储3个浮点坐标。

2. 每个压缩后的样本存储2个浮点坐标。

1. 并排展示从3个特征到2个主成分的坐标压缩过程。

1. 声音
   观察依据

   讲述者询问压缩是否可逆，并说明我们通过主成分方向将二维坐标乘回去，从而将每个点提升至3维空间。

2. 公式
   观察依据

   右上角公式为：$\hat{\mathbf{x}} = \mathbf{W}\mathbf{z} = z_1\mathbf{v}_1 + z_2\mathbf{v}_2$。

3. 图示
   观察依据

   蓝色箭头将右侧的黄色2维点连接至左侧的青色重建点。

1. 视频未说明$\mathbf{v}_1$、$\mathbf{v}_2$是否与前文的$\mathbf{e}_1$、$\mathbf{e}_2$完全相同；它仅将它们呈现为用于重建的主成分方向。

最后一部分介绍重建：在压缩丢弃信息之后，视频提出该过程能否逆转。它通过展示一个从$\mathbb{R}^2$到$\mathbb{R}^3$的线性提升来作答，其中使用所存储的坐标作为主成分方向上的权重。结果是一个近似的3维点$\hat{\mathbf{x}}$，未必是精确的原始点。

1. 一个压缩后的坐标向量$\mathbf{z} \in \mathbb{R}^2$可用。

2. 重建使用主成分方向$\mathbf{v}_1$、$\mathbf{v}_2$。

3. 输出是$\mathbb{R}^3$中的一个近似值$\hat{\mathbf{x}}$。

1. 并排展示从3个特征到2个主成分的坐标压缩过程。

1. 公式
   观察依据

   公式框中显示$\hat{x} = Wz = z_1v_1 + z_2v_2$。

2. 声音
   观察依据

   讲解员说明，平坦的二维坐标如何直接还原回三维空间。

视频展示了从其3维压缩坐标重构2维点的公式。重构得到的点$\hat{x}$通过将主成分向量矩阵$W$与压缩坐标向量$z$相乘得到，这等价于以各自坐标为权重对主成分向量进行线性组合。

1. 原始数据必须投影到由主成分张成的子空间上。

2. 重构结果仅落在此低维子空间内。

1. 公式
   观察依据

   公式框中显示：保留的本质 = $\frac{\sum_{i=1}^k \lambda_i}{\sum_{j=1}^d \lambda_j} \approx 100\%$。

2. 声音
   观察依据

   讲解员指出，你可以自信地判断压缩表示是否保留了数据的真实本质。

该视频提供了一个用于评估降维效果的数学判据。'保留的本质'定义为：所保留主成分的特征值之和，与原始空间中所有特征值之和的比值。该比值接近100%时，表明降维后的表示捕捉到了数据的主导结构，同时剔除了正交的背景噪声。

1. 特征值$\lambda$对应于各主成分所捕获的方差。

2. 所有特征值之和代表原始数据集中的总方差。

1. 公式
   观察依据

   保留本质 = ($\sum_{i=1}^k \lambda_i$) / ($\sum_{j=1}^d \lambda_j$) $\approx 100$%

2. 声音
   观察依据

   本片段无音频。

该公式用于计算：当使用主成分分析将数据集的维数从 d 降至 k 时，所保留的总方差比例。目标是保留约100% 的核心信息（主导结构），同时舍弃正交的背景噪声。

1. $\lambda_i$ 表示协方差矩阵的特征值。

2. k 是所保留的主成分个数。

3. d 是原始维度的总数。

1. 声音
   观察依据

   旁白说道：‘降维本质上就是投射一个正交影子的过程。’

1. 音频在片段末尾中断于句子中途（‘如果我们直接沿垂直方向打光……’）。

降维在数学上等价于将高维数据正交投影到一个低维子空间上，即投射其正交影子。

1. 该投影必须是正交的（即垂直于目标子空间）。

适用于所有线性降维方法。

1. 声音
   观察依据

   讲述者说：“注意，我们并非随意丢弃第三根坐标轴；而是沿着一条轨迹滑动每个点，该轨迹仅忽略垂直于我们偏好的画布方向的深度变化。”

正交投影到选定平面上，仅移除该平面法向方向的分量；它不等价于随意舍弃某一条原始坐标轴。

1. 已选定一个特定的目标平面。

2. 运动沿该平面的法线方向进行。

对于投影序列中显示的每一个3维点。

1. 声音
   观察依据

   旁白指出，所显示的垂线段表示压缩过程中精确牺牲的距离。

2. 公式
   观察依据

   公式框定义 $d_\perp = \min_{\mathbf{p} \in \mathcal{P}}$ \|$\mathbf{x} - \mathbf{p}$\|。

将一个点投影到平面上所损失的几何信息量，由该点到平面的垂线距离来度量。

1. 投影是到平面 $\mathcal{P}$ 上的正交投影。

2. 距离由所显示的范数来度量。

对每一个正在被投影的点 $\mathbf{x}$。

1. 声音
   观察依据

   讲述者将坍缩过程比作把一朵3D花朵夹在书页之间：物理厚度消失，但周长、花瓣排列以及内部边界在压平的纸面上依然可见。

2. 字幕依据
   观察依据

   类比卡片上写着“3D体积 → 平面图案”和“厚度 → 0 | 图案保留”。

在压花类比中，正交坍缩消除了第三维的厚度，同时保留了特征可见的2D排列。

1. 该物体沿一个方向被压平到一个平面上。

2. 关注点仅限于所得的平面图案。

此说法仅用于说明性类比，并非形式化定理。

1. 声音
   观察依据

   讲述者说：“由于压缩不可避免地会丢失信息，我们能否逆向而行，重建原始的测量结果？”

通过投影降低维度会导致原始数据中的信息丢失。

1. 高维数据集被映射为低维表示。

讲述者就当前讨论的压缩过程所作的一般性陈述。

1. 字幕依据
   观察依据

   横幅显示：“存储量减少：-33.3%（每面由3个浮点数 → 2个浮点数）。”

2. 声音
   观察依据

   旁白指出，在保持相对聚类结构的前提下，存储需求减少了百分之三十三。

将每个面的表示方式从存储三个浮点数改为存储两个浮点数，使每面存储量减少33.3%。

1. 每个原始面以3个浮点数形式存储。

2. 每个压缩面以2个浮点数形式存储。

在所展示示例中，按每面/每样本计。

1. 声音
   观察依据

   讲解员说道：“我们选择舍弃的第三个主成分，其方向恰好沿着这些红色线条的方向。”

2. 图示
   观察依据

   屏幕上显示文字“PC3 = 误差方向”，并有一支箭头沿纵轴指向连接原始点与重构点的直线。

PCA 中的重构误差精确地指向被舍弃的主成分方向。

1. 在降维过程中，一部分主成分已被舍弃。

2. 仅利用被保留的主成分对数据进行重构。

对于任一被舍弃的主成分方向。

1. 声音
   观察依据

   讲解员说道：“当 PCA 报告解释方差比例为95%时，这意味着我们的数据本质上几乎就是三维的。”

2. 图示
   观察依据

   图示展示一个平坦的2维平面，其上方悬浮着若干极其靠近该平面的点，并标注为“子空间厚度 ≈ 0”。

较低维子空间所解释的方差占比很高，说明原始数据在被舍弃的那些维度上几乎没有任何离散程度或深度。

1. 数据被投影到一个较低维的子空间上。

2. 所解释方差的计算基于主成分对应的特征值。

适用于那些保留下来的子空间能够捕获绝大部分总方差的数据集。

1. 声音
   观察依据

   旁白解释如何通过识别最宽延展方向，再识别下一个与其垂直的最宽延展方向，来找到能保留最大可能多样性的精确 2D 表面。

2. 动画
   观察依据

   可视化演示：PC 1（最大延展）与 PC 2共同构成一个平面，该平面与拉长的数据云对齐；同时对比了一个次优角度，导致点严重聚集。

1. 公式

   $$$$
   解释

   在3D数据云中识别方差最大的方向。

   步骤依据

   该方向捕获了受试者之间最多的信息或‘多样性’，对应于倾斜数据云的最长轴。

   视频直接表达
2. 公式

   $$$$
   解释

   识别下一个方差最大的方向，且该方向必须严格垂直于第一个方向。

   步骤依据

   正交性确保新维度所捕获的信息完全独立，未被第一主成分所表征。

   视频直接表达
3. 公式

   $$$$
   解释

   定义由这两个正交特征向量张成的2D平面。

   步骤依据

   该平面作为最优投影画布，最小化信息损失，并防止数据点聚集。

   视频直接表达

由前两个主成分所定义的平面，提供了最优的2D曲面，以最大化数据点的离散程度并保持原始3D数据的结构。

1. 公式
   观察依据

   屏幕上显示的公式将 $d_\perp$ 定义为平面上各点对应的最小值。

2. 图示
   观察依据

   垂直虚线段连接原始点与其在平面上的垂足。

1. 公式

   $$d_\perp = \min_{\mathbf{p} \in \mathcal{P}} \|\mathbf{x} - \mathbf{p}\|$$
   解释

   视频将垂直距离定义为：原始点 $\mathbf{x}$ 到平面 $\mathcal{P}$ 上任意一点 $\mathbf{p}$ 的最小距离。

   步骤依据

   直接显示于屏幕上的公式中。

   视频直接表达
2. 公式

   $$$$
   解释

   动画随后将这一最小化点识别为从向量〔x〕到该平面所作垂线的垂足。

   步骤依据

   虚线垂线与公式在平面上的最小化之间的视觉对应关系。

   依据视频推导
3. 公式

   $$$$
   解释

   因此，垂线的长度被解释为投影过程中所牺牲的距离的精确数值。

   步骤依据

   旁白明确将垂线与压缩过程中所牺牲的距离联系起来。

   视频直接表达

动画中所展示的垂直下落长度，形式化为 d_⊥，即向量 x 到平面 𝒫 的最小距离。

1. 公式
   观察依据

   右侧面板显示 [$z_1$,$z_2$]^$T = [[x \cdot e_1],[x \cdot e_2]]$。

2. 声音
   观察依据

   旁白指出，该平面被提取出来，构成一个独立的二维坐标系，此时每个面孔仅需两个数字即可描述。

1. 公式

   $$\mathbf{x} \in \mathbb{R}^3,\quad \mathbf{x} = [x_{nose}, x_{eye}, x_{jaw}]^T$$
   解释

   左侧面板从面孔原有的三维测量描述出发。

   步骤依据

   在并排显示中呈现，并在旁白中命名。

   视频直接表达
2. 公式

   $$\mathbf{z} \in \mathbb{R}^2$$
   解释

   右侧面板引入了一个附着于所提取主平面上的新二维坐标系。

   步骤依据

   屏幕上明确标注。

   视频直接表达
3. 公式

   $$\begin{bmatrix} z_1 \\ z_2 \end{bmatrix} = \begin{bmatrix} \mathbf{x} \cdot \mathbf{e}_1 \\ \mathbf{x} \cdot \mathbf{e}_2 \end{bmatrix}$$
   解释

   每个压缩后的坐标是通过将原始向量与一个主方向做点积得到的。

   步骤依据

   右侧面板中显示的公式。

   视频直接表达
4. 公式

   $$$$
   解释

   因此，3D 样本由两个标量投影表示，而非原来的三个测量值。

   步骤依据

   该结论源自屏幕上所展示的向量 $\mathbf{z}$ 的定义。

   依据视频推导

并排推导表明，压缩过程将三元组 (x_nose, x_eye, x_jaw) 替换为投影到主方向上的二元组 ($z_1$, $z_2$)。

1. 公式
   观察依据

   右上方公式为 $\hat{\mathbf{x}} = \mathbf{W}\mathbf{z} = z_1\mathbf{v}_1 + z_2\mathbf{v}_2$。

2. 声音
   观察依据

   讲解员指出：将2D 坐标沿主成分方向重新乘回，可将每个点提升至3D 空间。

3. 动画
   观察依据

   蓝色箭头将黄色的2D 点映射为青色的重构后3D 点。

1. 矩阵 $\mathbf{W}$ 与此前展示的向量 $\mathbf{e}_1$、$\mathbf{e}_2$ 之间的精确关系，在本片段中未作口头说明。

1. 公式

   $$\mathbf{z} \in \mathbb{R}^2 \rightarrow \hat{\mathbf{x}} \in \mathbb{R}^3$$
   解释

   右下角标签指出：该映射将压缩后的2D 坐标发送至重构后的3D 向量。

   步骤依据

   显示在2D 面板下方的屏幕上。

   视频直接表达
2. 公式

   $$\hat{\mathbf{x}} = \mathbf{W}\mathbf{z}$$
   解释

   重构过程表示为坐标向量与矩阵 $\mathbf{W}$ 的乘法。

   步骤依据

   右上角显示公式。

   视频直接表达
3. 公式

   $$\hat{\mathbf{x}} = z_1\mathbf{v}_1 + z_2\mathbf{v}_2$$
   解释

   同一公式将矩阵乘积展开为两个方向向量的线性组合，其权重为存储的坐标。

   步骤依据

   同一公式框中显示该等式。

   视频直接表达
4. 公式

   $$$$
   解释

   动画随后通过从每个2D点向对应的提升后的3D点绘制箭头，来实现这一代数运算。

   步骤依据

   可见的蓝色传递箭头，以及颜色从黄色变为青色。

   视频直接表达

该片段将重构推导为一种线性提升：2D坐标沿主方向重新组合，生成近似的3D向量 $\hat{\mathbf{x}}$。

1. 声音
   观察依据

   讲解员说明将阴影重新提升回3维的过程，并指出重建后的点被严格限制在精确的2维切片上。

2. 动画
   观察依据

   动画显示2维黄色点被映射回3维青色点，所有这些点都精确地落在绿色2D 平面位于 3D 空间内。

1. 公式

   $$$$
   解释

   从某数据点的2维压缩坐标$z$出发。

   步骤依据

   该坐标由前一步投影过程给出。

   视频直接表达
2. 公式

   $$\hat{x} = Wz = z_1v_1 + z_2v_2$$
   解释

   应用重建公式，将坐标乘以主成分矩阵$W$。

   步骤依据

   PCA重构的定义。

   视频直接表达
3. 公式

   $$$$
   解释

   所得向量$\hat{x}$是基向量$v_1$与$v_2$的线性组合。

   步骤依据

   矩阵-向量乘法的代数展开。

   依据视频推导
4. 公式

   $$$$
   解释

   因此，$\hat{x}$ 必须完全位于由 2D 子空间所张成的 $v_1$ 和 $v_2$ 中。

   步骤依据

   线性代数中“张成”的定义。

   依据视频推导

PCA重构得到的点被严格限制在由保留的主成分所定义的低维子空间中，这意味着它们无法恢复该切片之外的原始高度或深度。

1. 声音
   观察依据

   讲解员将原始点与重构点之间的差距称为重构误差，并以红色连接线段（须状线）进行可视化。

2. 动画
   观察依据

   动画展示红色竖直线段，将悬浮的3D点与其在2D平面上对应的投影点相连。

1. 公式

   $$e_i = ||x_i - \hat{x}_i||$$
   解释

   将单个点的重构误差定义为原始3D点与其2D重构点之间的欧几里得距离。

   步骤依据

   重构误差的标准定义。

   视频直接表达
2. 公式

   $$$$
   解释

   观察到向量差$x_i - \hat{x}_i$垂直于2D子空间。

   步骤依据

   正交投影的性质。

   依据视频推导
3. 公式

   $$$$
   解释

   将该垂向向量的方向识别为所投下的主成分（PC3）。

   步骤依据

   主成分彼此正交。

   视频直接表达
4. 公式

   $$\sum ||x_i - \hat{x}_i||^2 = 8.75$$
   解释

   对所有数据点的平方误差求和，得到总误差（SSE）。

   步骤依据

   平方误差和的定义。

   视频直接表达

重构误差在物理意义上表示被忽略的数据沿已舍弃主成分轴向的深度或厚度。

1. 声音
   观察依据

   旁白介绍一个视觉系统，该系统通过三个数值特征分析人类面部：鼻长、眼距和下颌宽度。

2. 公式
   观察依据

   文本框依次列出‘x：鼻长’、‘y：眼距’、‘z：下颌宽度’，以及一个具体示例‘第i个人：(1.5, 1.2, 0.9)’。

在3D特征空间中表示人类面部测量值，并观察其几何分布。

1. 特征：鼻子长度（x）、眼睛间距（y）、下颌宽度（z）。

2. 示例数据点：第 i 个人 = （1.5，1.2，0.9）。

观察自然相关性如何影响数据云的几何形态。

1. 公式

   $$\mathbf{x}_i = (1.5, 1.2, 0.9)$$
   解释

   将单个人的面部测量值映射到3维空间中的一个坐标。

   步骤依据

   每个人在特征空间中都成为一个单独的数据点。

   视频直接表达
2. 公式

   $$$$
   解释

   观察大量此类点的分布情况。

   步骤依据

   由于人类面部比例天然相互关联，这些点并不会像静电噪声那样随机散开；相反，它们会聚集成一条拉长且倾斜的数据云。

   视频直接表达

数据形成一个倾斜且具有相关性的3维云状结构，其主方差方向明显，表明冗余维度可以被压缩。

视觉上可确认：黄色/白色点云沿某条特定对角轴被拉长伸展，而非均匀填满整个3维空间。

1. 声音
   观察依据

   解说员指出，原始数据每张人脸需三个数字：鼻长、眼距和下颌宽；而右侧每张人脸仅需两个数字。

2. 公式
   观察依据

   左侧面板显示 [x_nose, x_eye, x_jaw]^T；右侧面板显示 [$z_1$, $z_2$]^$T = [[x \cdot e_1],[x \cdot e_2]]$。

3. 图示
   观察依据

   3D中的彩色点簇，在2D主平面上呈现为对应的点簇。

先用三个解剖学测量值表示每张人脸，再用两个主成分坐标表示，在此过程中对比相应的存储开销与聚类结构。

1. 每张人脸的原始特征向量：[x_nose, x_eye, x_jaw]^T ∈ ℝ^3。

2. 压缩后的表示：[$z_1$, $z_2$]^T ∈ ℝ^2。

3. $z_1$ = 𝐱 ⋅ 𝐞_1，且 $z_2$ = 𝐱 ⋅ 𝐞_2。

展示如何将3维特征描述降维至2维坐标，并量化存储空间的节省量。

1. 公式

   $$\mathbf{x} = [x_{nose}, x_{eye}, x_{jaw}]^T$$
   解释

   从人脸在3维特征空间中的原始三数描述出发。

   步骤依据

   见左侧图示及旁白说明。

   视频直接表达
2. 公式

   $$\begin{bmatrix} z_1 \\ z_2 \end{bmatrix} = \begin{bmatrix} \mathbf{x} \cdot \mathbf{e}_1 \\ \mathbf{x} \cdot \mathbf{e}_2 \end{bmatrix}$$
   解释

   将两个压缩坐标计算为𝐱在主方向上的投影。

   步骤依据

   右侧图示中显示的公式。

   视频直接表达
3. 公式

   $$3 \text{ floats} \rightarrow 2 \text{ floats per face}$$
   解释

   比较压缩前后所存储的实数值个数。

   步骤依据

   在底部横幅及旁白中明确给出。

   视频直接表达
4. 公式

   $$\frac{3-2}{3}=33.3\%$$
   解释

   将存储数量的变化换算为每张人脸报告的存储空间百分比降幅。

   步骤依据

   与屏幕上显示的“-33.3%”声明一致。

   依据视频推导

每个面部由两个主坐标表示，而非三个原始测量值，从而在保持显示示例中相对聚类结构的同时，将每张面部的存储量减少了33.3%。

并排可视化图在两个面板中均显示出对应颜色的聚类，支持了‘压缩后仍保留受试者分组’这一论断。

1. 声音
   观察依据

   讲解者以主成分分析报告解释方差比例为95%为例，说明原始数据本质上几乎仅为3维。

2. 图示
   观察依据

   图示显示“平面（PC1+PC2）：95%”及“3维：5%”，并配以点集紧密聚集于一个平坦平面上的可视化图像。

当主成分分析（PCA）报告说 95% 的方差可由 2D 投影解释时，这表示什么？3D 数据

1. 原始数据为3维。

2. 主成分分析将数据投影到一个2维平面（PC1与PC2）上。

3. 保留的方差为95%。

解释这种高方差保留所具有的物理意义与几何意义。

1. 公式

   $$$$
   解释

   分析数据云相对于2D投影平面的侧向角度。

   步骤依据

   可视化几何结构有助于理解方差的分布情况。

   视频直接表达
2. 公式

   $$$$
   解释

   观察到各点极其靠近2D平面，表明该子空间的厚度近似为零。

   步骤依据

   直接从所给图示中观察得出。

   视频直接表达
3. 公式

   $$$$
   解释

   得出结论：第三维仅包含整体离散度的5%。

   步骤依据

   保留方差的补集（100% 减 95%）。

   依据视频推导

这意味着原始数据几乎不具有三维性；将其压扁几乎不造成损失，因为原本就几乎没有深度可言。

该可视化图示明确将第3维标注为仅包含5%的方差，从而印证了讲解者的解释。

1. 动画
   观察依据

   一个3维点云被向下投影到水平平面上，导致红色点重叠，标注为“不恰当投影角度：重叠模糊”；随后，投影平面发生倾斜以与数据对齐，从而得到彼此分离的黄色点，标注为“最优投影角度：核心结构得以保留”。

1. 3维点云

2. 水平投影平面

3. 倾斜投影平面

4. 投影线（影子）

1. 投影平面的朝向从水平变为倾斜。

2. 投影点的颜色从红色（重叠）变为黄色（互异）。

1. 数据点原始的3维位置保持不变。

直观地说明：将高维数据投影到选择不当的子空间上，会因重叠而丢失结构信息；而与数据最优对齐的子空间则能保留该信息。

1. 动画
   观察依据

   云团中心出现一个黄色圆点；一条标有“PC 1（最大离散度）”的蓝色箭头沿云团最长轴方向延伸；一条标有“PC 2”的青色箭头与其垂直延伸；一个半透明的蓝色网格平面包含这两条箭头。

1. 中心化后的数据点（黄色圆点）

2. PC 1向量（蓝色箭头）

3. PC 2向量（青色箭头）

4. 最优2D投影画布（蓝色网格平面）

1. 依次绘制向量，以定义方差最大的坐标轴。

2. 生成一个由这两个向量张成的平面。

1. 底层的3D数据云保持可见且不变。

图示主成分分析的几何定义：寻找方差最大的正交方向，从而构建用于投影的最优低维子空间。

1. 动画
   观察依据

   显示一个绿色线框平面；蓝色数据点悬浮于其上方；虚线白色投影线从蓝色点垂直下落至绿色平面，在平面上形成较小的蓝色投影点。

1. 动画在光源原理的完整解释完成前即被截断。

1. 绿色线框投影平面

2. 蓝色3D数据点

3. 虚线白色投影线

4. 蓝色2D投影点

1. 数据点通过笔直且垂直的直线，从3维空间映射到2维平面。

1. 投影平面上各点的相对顺序，依据正交映射关系得以保持。

提供了线性降维的直观几何解释：高维空间中的每个点都被映射到其在低维子空间上的最近点，类似于投下一道正交阴影。

1. 图示
   观察依据

   蓝色点悬浮于一个半透明绿色平面之上；黄色标记出现在它们落下的位置；虚线垂直线段追踪其下落路径。

2. 声音
   观察依据

   旁白描述每个点沿垂直于所选平面的最短路径运动。

1. 蓝色3D点

2. 半透明绿色平面

3. 黄色落地标记

4. 虚线垂直下落线

5. 坐标轴

1. 各点向下朝该平面移动。

2. 黄色标记出现在各点落地的位置。

3. 虚线累积呈现所经过的垂直路径。

1. 平面朝向保持固定。

2. 运动沿垂直于平面的方向进行。

3. 每个落点的水平位置与原始点在平面内的位置一致。

该动画可视化正交投影：每个点沿法线方向映射到平面上最近的点，下落线段的长度代表被舍弃的垂直分量。

1. 图示
   观察依据

   多组垂直堆叠的蓝点一同降落在绿色平面上，留下虚线轨迹，并形成若干平面簇。

2. 字幕依据
   观察依据

   标题显示“坍缩至2维曲面”；后续卡片分别显示“类比：压花”、“若数据具有10维呢？”以及“2维检视框架已就绪”。

1. 若干组垂直堆叠的蓝点

2. 带网格的绿色平面

3. 虚线下落轨迹

4. 配紫色花朵的类比卡片

5. 关于10维的提示卡片

6. 检查框架卡片

1. 多个点同时下落。

2. 3维点云在平面上变为一组2维簇。

3. 补充文字卡片依次出现。

1. 平面始终作为目标曲面。

2. 每个点继续沿垂直路径运动。

3. 邻近点之间的相对分组关系在平面上以视觉方式得以保持。

该过程将单点投影推广至整个数据集，强调降维可视作在保留其平面结构的前提下将点云压平。

1. 图示
   观察依据

   分屏对比：左侧为‘原始3维特征空间’，右侧为‘提取出的2维主平面’。

2. 公式
   观察依据

   左侧显示 $x \in \mathbb{R}^3$ 及 [x_nose, x_eye, x_jaw]^T；右侧显示 $z \in \mathbb{R}^2$ 及 [$z_1$, $z_2$]^$T = [[x \cdot e_1],[x \cdot e_2]]$。

3. 字幕依据
   观察依据

   底部横幅标注‘存储量减少：-33.3%（每张人脸由3个浮点数降至2个浮点数）’，并附箭头标注‘结构得以保留’。

1. 左侧3D散点图，带倾斜平面

2. 右侧2D散点图，带主成分轴

3. 颜色编码的点簇

4. 公式框

5. 存储量减少横幅

6. 保持结构的箭头

1. 左侧面板确立原始数据后，右侧面板随即填充投影后的点。

2. 文字与公式用于定义坐标变换。

3. 横幅量化了存储量的减少。

1. 对应的颜色将两个面板中相同的对象关联起来。

2. 左侧面板保持原始的3D空间，而右侧面板保持提取出的2D空间。

分屏设计使抽象概念具体化：同一数据集分别以3维原始坐标和2维主成分坐标呈现，并附有明确公式揭示两种表示间的联系。

1. 图示
   观察依据

   左侧面板标题为“3维特征空间”，显示灰色原始点；右侧面板标题为“2维压缩空间”，显示黄色压缩点；蓝色箭头将它们连接至青色重构点。

2. 公式
   观察依据

   右上方公式为 $\hat{\mathbf{x}} = \mathbf{W}\mathbf{z} = z_1\mathbf{v}_1 + z_2\mathbf{v}_2$；右下方标注为 $\mathbf{z} \in \mathbb{R}^2 \rightarrow \hat{\mathbf{x}} \in \mathbb{R}^3$。

1. 灰色原始3维点

2. 黄色2维压缩点

3. 青色3维重构点

4. 蓝色转移箭头

5. 重构公式框

1. 黄色点通过箭头与3维面板中的新青色点相连。

2. 重构公式出现并持续显示在屏幕上。

3. 视觉重点从压缩转向近似恢复。

1. 右侧的2D坐标系与左侧的3D坐标系保持固定。

2. 每条箭头代表一个被压缩的点被抬升回3D空间。

该动画演示了从压缩坐标到近似3D重构的逆映射过程，表明我们可以回到原始的环境空间，但仅能回到由保留分量所张成的平面。

1. 动画
   观察依据

   动画显示黄色点在2D空间中，经由曲线映射至3D空间中的青色点，随后落于一个平坦的绿色平面上。

1. 2维压缩空间，含黄色点

2. 3维特征空间，坐标轴为 x1、x2、x3

3. 绿色2维子空间切片

4. 向量 v1 与 v2

1. 黄色点在2维空间中被变换为3维空间中的青色点。

2. 青色点完美地落在绿色2维平面上。

1. 数学关系式$\hat{x} = Wz$保持不变。

2. 绿色平面表示向量 v1 与 v2 的张成空间。

该可视化演示表明：从低维PCA空间重构数据，会强制所有点精确落于所保留主成分定义的子空间上，从而丢失原始正交方向上的任何深度信息。

1. 动画
   观察依据

   动画展示一个3维坐标系，其中含一个蓝色平面；青色点浮动于该平面之上与之下，并通过红色竖直线连接至其在平面上的投影。

1. 蓝色2维平面

2. 漂浮的青色3D点

3. 红色连接须线

4. 黄色箭头指示PC3方向

1. 出现红色连线，将漂浮的点与平面相连。

2. 浮现一根黄色竖直箭头，标注为“PC3 = 误差方向”。

1. 蓝色平面保持固定，作为投影子空间。

2. 红色连线所表示的距离对应重构误差。

红色须线直观地量化了重构误差，表明该误差严格沿被舍弃的主成分方向（即缺失的坐标轴方向）对齐。

1. 动画
   观察依据

   画面切换至总结视图：左侧显示“3D特征空间”，右侧显示“2D最优投影画布”，二者由标注为“垂直投影”的箭头连接。

1. 3D特征空间框

2. 2D最优投影画布框

3. 垂直投影箭头

4. 维数判据公式

1. 本视频将先前的概念整合为一张统一的示意图。

2. 展示了矩阵乘法与方差保持率的公式。

1. 正交投影这一核心概念始终是全片的中心主题。

最后这一段落整合了主成分分析（PCA）的几何直观，将代数层面的矩阵运算与‘投下垂直阴影’这一视觉概念联系起来，从而实现方差最大化与丢失深度最小化。

1. 动画
   观察依据

   绿色边框的‘维度判据’卡片水平翻转，露出蓝色边框的‘下集预告’卡片。

1. 维度判据卡片

2. 下集预告卡片

1. 卡片正面消失。

2. 卡片背面出现新文字与公式。

1. 整体布局与深色背景保持一致。

在视觉上将当前主题的结论与下一主题的预告分隔开来。

1. 声音
   观察依据

   讲述者明确将实际数据分布与‘像老式电视机上的雪花噪点’那样随机散落的点进行对比。

2. 公式
   观察依据

   文字框先后显示‘假设：不相关的静态噪声’和‘现实：倾斜的相关云团’。

认为多维特征数据会自然地在所有维度上均匀或随机分布。

事实上，自然特征高度相关，导致数据聚集成拉长、倾斜的云团，并具有主导的方差方向，这使得降维成为可能。

1. 声音
   观察依据

   讲述者警示，若从一个‘别扭的视角’拍摄快照，会使对象重叠成一团‘无法辨识的模糊影像’。

2. 动画
   观察依据

   画面显示：当红色点被投影到一个未对齐的水平平面上时，发生严重聚堆现象。

误以为简单地舍弃坐标分量或向任意平面投影来降低维度，就能保留下数据集中的有用信息。

投影到一个次优角度会导致严重的点聚集现象，从而掩盖了有价值的数据差异。投影平面必须经过数学优化（例如通过主成分分析PCA），以对齐数据的最大离散方向。

1. 声音
   观察依据

   讲解员明确提醒：‘请注意，我们并非随意舍弃第三根坐标轴。’

人们可能认为此处的降维只是随机丢弃某一根原始坐标轴。

视频指出，该方法沿垂直于所选平面的轨迹移动每个点，仅舍弃该平面法线方向上的深度变化，而非随意删除某根坐标轴。

1. 声音
   观察依据

   讲解员使用压花类比：厚度消失，但轮廓、花瓣排列及内部边界依然可见。

2. 字幕依据
   观察依据

   知识卡片文字为：‘厚度 → 0 | 图案保留’。

对一个3D物体进行压平，可能被误认为会摧毁所有具有信息量的结构。

该类比区分了被移除的厚度与被保留的平面图案：第三维的延展性消失，但特征的2D排列仍可清晰可见。

1. 声音
   观察依据

   讲述者指出压缩必然丢失信息，随后提问：这一过程能否逆转？

2. 公式
   观察依据

   重建用 $\hat{\mathbf{x}}$ 表示，而非 $\mathbf{x}$。

由于视频展示了映射回3D的过程，观众可能推断原始测量值被完美复原。

该片段在明确指出压缩会丢失信息之后，将重建呈现为一种近似提升 $\hat{\mathbf{x}}$，该提升由保留的分量构建而成。

1. 声音
   观察依据

   旁白明确指出：‘注意观察发生了什么。我们重建出的点并不会奇迹般地恢复它们原本的高度。’

一种常见误解认为：从PCA坐标出发重建数据，能够完美复原原始高维数据，包括其全部的深度与高度。

视频澄清道：重建出的点被严格限制在当初投影所落下的那个精确的低维切片上；它们无法恢复那些已被舍弃的正交方向上的信息。

1. 声音
   观察依据

   讲解者首先说明如何通过主成分分析（PCA）找到最优平面，然后指出降维本质上就是将数据正交地投射到这样一个平面上，形成垂直阴影。

主成分分析（PCA）所进行的数学优化，恰好提供了执行正交阴影投射（即投影）所需的精确几何子空间，且不会丢失数据的结构信息。

1. 声音
   观察依据

   讲解者将自然相关性直接与拉长、倾斜的数据云形成联系，并指出该数据云具有特定朝向，沿某些方向延伸得更远。

理解特征相关性会造就主导性的方差朝向，是明白为何PCA要寻找最大离散方向来定义投影平面的必要前提。

1. 公式
   观察依据

   公式 $d_\perp = \min_{\mathbf{p} \in \mathcal{P}}$ \|$\mathbf{x} - \mathbf{p}$\| 在垂直下落线显示于屏幕时被引入。

2. 声音
   观察依据

   讲述者将下落线与压缩过程中牺牲的距离联系起来。

正交投影这一几何概念，由垂直距离公式予以量化。

1. 图示
   观察依据

   在定义单点下落距离后，视频将尺度扩展至多个点共同坍缩到平面上。

2. 声音
   观察依据

   讲述者从“精确牺牲的距离”过渡到“整个3D数据云同步坍缩”。

逐点损失度量被推广至整个数据集被压平至2D曲面的情形。

1. 声音
   观察依据

   讲述者说：“为在数学上利用这一概念，我们将该平面提取出来，构造成其自身独立的二维坐标系。”

2. 公式
   观察依据

   并排面板用显式的坐标 $z_1$、$z_2$取代了几何平面图。

坐标压缩法是此前所见的“向平面坍缩”这一可视化过程的代数实现。

1. 字幕依据
   观察依据

   存储横幅直接显示在并排压缩视图正下方。

2. 声音
   观察依据

   讲述者将从三个数缩减为两个数的过程，与33% 的存储量减少联系起来。

存储量减少这一主张，直接源于用两个坐标而非三个坐标来表示每个样本这一数值事实。

1. 声音
   观察依据

   讲述者在指出压缩会丢失信息后，提问：这一过程能否逆转？

2. 公式
   观察依据

   重建公式 $\hat{\mathbf{x}} = \mathbf{W}\mathbf{z}$ 中使用的 $\mathbf{z}$，与压缩步骤中引入的 $\mathbf{z}$ 完全相同。

重建依赖于前一步压缩过程所产生的压缩后坐标表示。

1. 图示
   观察依据

   前半段展示点被投影至平面上；后半段展示点从平面被抬升回3D空间。

2. 声音
   观察依据

   旁白将前向压缩与逆向还原旅程进行对比。

正交投影将3D空间映射到该平面，而重建则将平面坐标映射回一个近似的3D位置。

1. 声音
   观察依据

   旁白将位于2维切片上的受困点与原始点和重建点之间的差距联系起来，并将其定义为重建误差。

重建的数学公式决定了所有点必然落在该子空间上，这直接导出了如下几何解释：重建误差的方向与被舍弃的主成分方向一致。

1. 声音
   观察依据

   讲述者从讨论误差的物理厚度，过渡到关于95%方差解释率实际意味着数据维度性的核心洞见。

视频将重建误差（丢失的深度）这一物理现实，与方差解释率这一统计度量进行对比，表明高方差保留率意味着重建误差可忽略不计。

1. 公式
   观察依据

   最终公式在数学上形式化了前文所讨论的保留方差概念。

对95%方差意味着数据几乎仅为3维这一直观解释，在数学上等价于通过特征值计算所得的“保留本质”判定准则。

1. 声音
   观察依据

   请订阅，因为接下来我们将探讨矩阵微积分与向量的梯度。

视频从主成分分析（PCA）这一统计概念过渡到梯度这一数学工具，暗示矩阵微积分与梯度将在后续有关优化或高级降维技术的主题中被使用。

1. 声音
   观察依据

   讲解者提到要寻找‘下一个最宽的垂直方向’。

1. 通过主成分定义最优投影平面

1. 动画
   观察依据

   画面显示红色点在水平平面上重叠成一片模糊。

1. 降维的阴影投影类比

1. 声音
   观察依据

   讲解者指出，人类面部的天然比例之间彼此相关。

1. 相关特征云的几何结构

1. 声音
   观察依据

   讲述者解释：各点沿垂直于所选平面的方向移动，直至平稳落于该平面表面。

2. 公式
   观察依据

   公式框定义了 $d_\perp$。

1. 正交阴影投影到一个平面上
2. 垂直距离即为压缩损失

1. 公式
   观察依据

   显示的公式为 $d_\perp = \min_{\mathbf{p} \in \mathcal{P}}$ \|$\mathbf{x} - \mathbf{p}$\|。

2. 声音
   观察依据

   讲述者称这是压缩过程中精确牺牲的距离。

1. 垂直距离即为压缩损失

1. 声音
   观察依据

   讲述者明确指出，他们并非随机舍弃第三根坐标轴。

1. 正交阴影投影到一个平面上
2. 误将PCA投影等同于任意删除坐标轴

1. 字幕依据
   观察依据

   知识卡片文字为：‘类比：压花’、‘3D 体积 → 平面图案’、‘厚度 → 0 | 图案保留’。

2. 声音
   观察依据

   讲述者解释说，厚度消失，而周长和内部边界仍清晰可见。

1. 3D点云坍缩至2D表面
2. 混淆厚度的丢失与所有结构的丢失

1. 公式
   观察依据

   右侧面板显示 [$z_1$,$z_2$]^$T = [[x \cdot e_1],[x \cdot e_2]]$。

2. 声音
   观察依据

   讲述者称，每个面都需要其在 PC1 和 PC2 方向上的位置。

1. 并排展示从3个特征到2个主成分的坐标压缩过程。

1. 字幕依据
   观察依据

   横幅显示：'存储量减少：-33.3%（每张人脸由 3 个浮点数变为 2 个浮点数）'。

2. 声音
   观察依据

   讲述者称存储量减少了百分之三十三。

1. 每张人脸的存储量从3个浮点数减少至2个浮点数。
2. 人脸测量压缩示例

1. 声音
   观察依据

   讲述者提问该过程是否可逆，随后描述了如何沿主成分方向将点重新提升。

2. 公式
   观察依据

   公式显示 $\hat{\mathbf{x}} = \mathbf{W}\mathbf{z} = z_1\mathbf{v}_1 + z_2\mathbf{v}_2$。

1. 将2维坐标提升回3维
2. 假设重建能精确恢复原始点

1. 公式
   观察依据

   重建过程使用 $\hat{\mathbf{x}}$ 而非 $\mathbf{x}$。

2. 声音
   观察依据

   讲述者将此表述为：在压缩过程中丢失部分信息后，重新构建原始测量值。

1. 将2维坐标提升回3维
2. 假设重建能精确恢复原始点

1. 声音
   观察依据

   讲述者讨论将阴影还原至3维空间的局限性。

1. PCA重构公式
2. 关于PCA重建的常见误解