PCA直观讲解：一点数学与代码

1. 声音
   观察依据

   讲解员说，PCA 代表主成分分析。

2. 图示
   观察依据

   屏幕文字先显示“PCA”，然后显示“主成分分析”。

PCA

主成分分析是一种降维方法，本节以此为例进行介绍。

方法名称

1. 图示
   观察依据

   顶部手写绿色文字为“$D = 2$”。

2. 声音
   观察依据

   讲解员说：“如果数据是二维的，我们甚至可以像这样轻松地将其可视化。”

D

所显示数据的维度数；本片段中该值设为2。

整数维度数

1. 公式
   观察依据

   黑板顶部，视频用绿色写出 $D = 2$。

2. 声音
   观察依据

   旁白随后提到 D 维向量的行。

D

数据的原始特征维度。

正整数；本例中 $D = 2$。

1. 公式
   观察依据

   黑板上写出 X = [$x_{11} x_{12}$ ... $x_{1D}$; $x_{21} x_{22}$ ... $x_{2D}$; ...; $x_{N1} x_{N2}$ ... x_{ND}]。

2. 声音
   观察依据

   旁白说：‘首先，假设我们有数据矩阵 X，其每一行包含一个数据点。’

X

数据矩阵，其行是数据点，列是特征。

讨论了中心化后的 $N \times D$ 矩阵。

1. 公式
   观察依据

   条目 $x_{11}$、$x_{12}$、…、$x_{1D}$、$x_{21}$、…、x_{ND} 出现在所展示的 X 矩阵中。

x_{ij}

数据矩阵 X 中第 i 行第 j 列的元素。

X 的实数值标量元素。

1. 公式
   观察依据

   在 X 的第一行上方，黑板上写出 $x_{i=1}$ ∈ ℝ^D。

2. 声音
   观察依据

   讲解者指出，各行包含全部数据点，随后称其为 D 维向量。

1. 记号 $x_{i=1}$ 在视觉上较为特殊，但用于将第一行标记为 ℝ^D 中的一个向量。

$x_{i=1}$

矩阵 X 的第一行，视作一个 D 维向量。

x 下标 i 等于1 属于 D 维实数空间。

1. 公式
   观察依据

   黑板上写出 $X \to X - X$̄。

2. 公式
   观察依据

   随后，在散度矩阵公式旁，黑板上写出 X̄ = 0。

3. 声音
   观察依据

   讲解者指出，需对数据进行中心化处理，使得所有数据点的均值为零。

$\overline{X}$

数据的均值，在中心化过程中被减去。

变换之后，黑板上显示的条件是 X̄ = 0。

1. 公式
   观察依据

   黑板上写出 $S = \sum$ᵢ xᵢᵀ xᵢ。

2. 声音
   观察依据

   讲解者说：‘为此，我们按此公式计算数据的散度矩阵。’

S

中心化后数据的散度矩阵。

一个 $D \times D$ 矩阵，其维度标注显示在屏幕上。

1. 公式
   观察依据

   在 $S = \sum$ᵢ xᵢᵀ xᵢ 中，因子 xᵢ 未使用粗体表示。

2. 公式
   观察依据

   绿色箭头将 xᵢᵀ 标注为 $D \times 1$，将 xᵢ 标注为 $1 \times D$。

3. 声音
   观察依据

   讲解者说明：取其中一行，将其转置后再相乘。

1. 视频中用 xᵢ 既表示数据矩阵 X 的某一行，也出现在散度矩阵公式中；所显示的维度表明，在该公式中它被当作一个 $1 \times D$ 的行向量处理。

$x_i$

数据矩阵 X 的第 i 行，在散度矩阵表达式中被用作一个 $1 \times D$ 的向量。

在所显示的乘法中，xᵢ 是 $1 \times D$；xᵢᵀ 是 $D \times 1$。

1. 公式
   观察依据

   $S = \sum$ᵢ xᵢᵀ xᵢ 中的求和符号带有下标 i。

2. 声音
   观察依据

   讲解者说：‘当然，我们要对所有数据样本 i 将此项求和。’

i

索引遍历数据样本（即矩阵 X 的各行）。

所显示求和式中的样本索引。

1. 图示
   观察依据

   沿椭圆长轴的一条红色箭头被标记为‘主成分1’。

2. 声音
   观察依据

   讲解者称这些轴为主成分。

principal component 1

拟合椭圆的主轴方向，以较长的红色箭头表示。

二维散点图中的方向。

1. 图示
   观察依据

   一条垂直于红色箭头的蓝色箭头被标记为“主成分2”。

2. 声音
   观察依据

   讲解者称这些轴为主成分。

principal component 2

拟合椭圆的次轴方向，以较短的蓝色箭头表示。

二维散点图中的方向。

1. 声音
   观察依据

   讲解员表示，在了解了维度过多往往是一种‘诅咒’之后，他们将解释如何去除过多的维度。

2. 图示
   观察依据

   标题文字为“用 PCA 进行降维”和“维度的 blurse”，并配有标注为“祝福”和“诅咒”的箭头。

1. 屏幕上的单词“blurse”看似是拼写错误或玩笑式写法，而非标准术语。

本片段将降维视为处理维度过多数据的一种方法。给出的动机是：高维性可能成为一种‘维度灾难’，因此降低维度有助于使数据更易于处理。

1. 适用于数据具有许多维度的情形。

2. 作为引入性的动机呈现，而非形式化的定理。

1. 声音
   观察依据

   讲述者说：“以主成分分析（PCA）为例，PCA 是 Principal Component Analysis 的缩写。”

2. 图示
   观察依据

   居中文字显示“PCA”，其下方为“Principal Component Analysis”。

PCA 被介绍为 Principal Component Analysis 的缩写，是本片段中用作示例的具体降维方法。

1. 用作本片段所讨论方法的命名定义。

1. 降维的目的

1. 声音
   观察依据

   讲述者指出，主成分分析（PCA）采用启发式方法寻找数据中最重要的方向，然后舍弃最不重要的部分，以达到目标空间所需的维度。

2. 动画
   观察依据

   展示一幅散点图，图中带有彩色的方向向量，随后各点在视觉上被坍缩到一个主导方向上。

1. 该片段仅提供直观描述；本节选中未出现协方差矩阵、特征值方程或优化目标。

视频将主成分分析（PCA）介绍为一种方法：它识别数据中最重要的方向，并移除较不重要的方向，直至数据降至目标低维空间。在本片段中，“最重要”通过某些方向上更大的离散程度直观地加以解释。

1. 以低维示例进行直观描述。

2. 该片段未陈述PCA的完整数学形式化定义。

1. PCA 的含义

1. 声音
   观察依据

   讲述者指出，某些维度比其他维度更重要；在某一方向上，数据离散程度并不大；若将所有点压缩到一条直线上，信息损失并不会太大。

2. 声音
   观察依据

   讲述者进一步指出，若移除另一维度，则会损失大量信息，因为该方向上的离散程度大得多，有助于区分各个数据点。

3. 动画
   观察依据

   绿色点先投影到一条蓝色直线上，再投影到一条红色直线上；蓝色直线上的投影仍保持各点的可分辨分离，而红色直线上的投影则使整个点云坍缩为单个点。

该片段以视觉上的离散程度作为判断方向重要性的判据：离散程度大的方向能保留更多点与点之间的差异，而离散程度小的方向则可被舍弃，且造成的信息损失较小。

1. 在2D 散点图上进行演示。

2. 该解释是几何的、直观的，而非代数的。

1. 本片段中 PCA 的核心思想

1. 公式
   观察依据

   黑板上显示 $D = 2 \to D$' = 1。

2. 声音
   观察依据

   开场旁白延续降维的思想，最终落脚于“D 撇”。

1. 该片段从中途开始，因此本段中未提供目标的完整前序陈述。

本片段将主成分分析（PCA）定位为一种在保留变异最重要方向的前提下减少维度数量的方法。明确的可视化示例是从 $D = 2$ 降至 D' = 1。

1. 所展示的示例使用了一个二维数据集。

2. 所示的目标降维维度为一。

1. 公式
   观察依据

   黑板上写出 $X \rightarrow X - \overline{X}$。

2. 声音
   观察依据

   讲解者说：‘接下来我们要对数据进行中心化，即所有数据点的均值应为零。’

3. 声音
   观察依据

   讲解者补充道：‘如何实现？就是用原始数据减去其均值。’

在计算散度矩阵之前，视频中先从数据中减去均值，使得中心化后的数据均值为零。该步骤被呈现为构建PCA算法的一部分。

1. 数据必须首先表示为矩阵 X。

2. 减法操作是减去均值 $\overline{X}$。

3. 在此步骤之后，视频在散度矩阵的讨论中使用 $\overline{X} = 0$。

1. 数据矩阵 X 的结构

1. 公式
   观察依据

   黑板上写出 $S = \sum_i x_i^T x_i$ ; $\overline{X} = 0$。

2. 声音
   观察依据

   讲解者说：‘为此，我们按此公式计算数据的散度矩阵，并且请记住，我们已经减去了均值。’

3. 公式
   观察依据

   绿色注释标出：$x_i^T$ 的维度为 $D \times 1$，$x_i$ 的维度为 $1 \times D$，S 的维度为 $D \times D$。

视频将散度矩阵定义为：中心化后的各样本 $x_i^T x_i$ 之和。它强调该公式形式简洁，是因为均值已被预先减去。

1. 数据已中心化，使得 $\overline{X} = 0$。

2. $x_i$ 表示数据矩阵的一行。

3. 求和遍历以 i 为索引的数据样本。

4. 所得矩阵 S 的大小为 $D \times D$。

1. 数据矩阵 X 的结构
2. 主成分分析（PCA）算法的中心化步骤
3. $x_i$

1. 公式
   观察依据

   黑板上写出 X = [$x_{11} x_{12}$ ... $x_{1D}$; $x_{21} x_{22}$ ... $x_{2D}$; ...; $x_{N1} x_{N2}$ ... x_{ND}]。

2. 公式
   观察依据

   第一行上方标注 $x_{i=1} \in \mathbb{R}^D$。

3. 声音
   观察依据

   讲解者指出：行包含所有数据点，列包含这些数据点的特征。

视频将 X 引入为一个矩阵，其行是数据点，列是特征；每一行被视为一个 D 维向量。

1. 每一行对应一个数据点。

2. 每一列对应一个特征。

3. 每一行都位于 $\mathbb{R}^D$ 中。

1. 公式
   观察依据

   底部公式 $S = \sum _i x_i^T x_i$，其维度标注为 $D \times D$。

2. 声音
   观察依据

   旁白提到散点矩阵，并说明我们取散点矩阵，计算其特征值和特征向量。

1. 所显示的公式虽未显式写出均值中心化记号，但单独标出了 $\bar{x}=0$。

该片段展示了一个由数据向量 $x_i$ 构建的散点矩阵 S。黑板上将其写为对 i 求和的 $x_i^T x_i$，而单独给出的条件 $\bar{x}=0$ 表明：在使用该表达式前，数据已进行中心化处理。旁白指出，S 即为 PCA 中用于计算特征值与特征向量的矩阵。

1. 数据由向量 $x_i$ 表示。

2. 黑板上写出 $\bar{x}=0$，表明数据已中心化。

3. S 被标注为一个 $D \times D$ 矩阵。

1. 声音
   观察依据

   旁白：主轴的方向实际上就是该散点矩阵的特征向量。

2. 图示
   观察依据

   右侧图中显示两条彩色箭头穿过点云，随后被标记为对应最大与最小特征值的特征向量。

视频指出，数据主轴的方向即为散点矩阵的特征向量。直观上，这些方向以穿过中心化点云的彩色箭头形式绘出，表示数据变化最显著的方向。

1. 应用于散点矩阵 S。

2. 显示在居中的2D 示例中，其中 $D = 2$。

1. 主成分分析（PCA）设定中的散点矩阵

1. 声音
   观察依据

   旁白：每个特征向量都有一个所谓的特征值，用于刻画该特征向量的重要性，即数据沿该方向的离散程度的大小。

2. 图示
   观察依据

   标签将一根箭头标识为具有最大特征值的特征向量，另一根箭头标识为具有最小特征值的特征向量。

每个特征向量都对应一个特征值。本片段中，特征值被描述为刻画该特征向量重要性的量，具体指数据沿该方向的离散程度的大小。图示通过区分具有最大特征值与最小特征值的特征向量，强化了这一含义。

1. 矩阵 S 的每个特征向量都对应一个特征值。

2. 在该示例中，较大的特征值对应沿该方向更大的离散程度。

1. 特征向量作为主方向

1. 声音
   观察依据

   旁白：现在我们已获得特征向量，便可按特征值对其进行排序，从而确定其重要性。

在计算出特征值与特征向量后，片段指出这些特征向量将按特征值排序。这种排序决定了哪些方向对降维表示最为重要。

1. 特征值与特征向量已经完成计算。

1. 特征值衡量数据沿特征向量方向的离散程度。

1. 声音
   观察依据

   讲述者指出，PCA 旨在找出数据中最重要的方向，并舍弃最不重要的部分，从而达到目标维度。

1. 该陈述以非正式概述的形式呈现，而非经过严格证明的定理。

PCA 使用启发式方法识别数据中最重要的方向，然后舍弃较不重要的部分，以获得目标维度数。

1. 数据被表示为一个点云。

2. 本讨论是非正式的，且基于视频片段中展示的示例。

针对视频中展示的示例数据集。

1. 声音
   观察依据

   讲述者指出，PCA 算法的核心思想是保留散布最大的方向，舍弃其余方向，直至达到所需的维度数。

1. 这是该片段中直观的表述；本节视频未在此处对‘散布’给出数学定义。

此处所述 PCA 的核心思想是：保留散布最大的方向，舍弃其余方向，直至达到所需的维度数。

1. 该数据点云具有不同散布程度的可区分方向。

2. 目标是降维。

针对本片段中这个2维示意性示例。

1. 声音
   观察依据

   讲述者提出用椭圆来近似这些数据——‘本质上是一个二维高斯分布’，并找出该椭圆的主轴。

2. 声音
   观察依据

   随后讲述者说：‘这些被称为主成分的轴，恰恰就是我们所寻找的方向。’

3. 图示
   观察依据

   拟合出的椭圆有一条红色长轴，标为‘主成分1’；还有一条蓝色短轴，标为‘主成分2’。

1. 本片段以直观方式呈现该结论；此处未给出形式化证明。

在这一直观图示中，主成分即用于近似数据云的椭圆的主轴。

1. 数据被一个椭圆所近似。

2. 该椭圆被口头描述为‘本质上是一个二维高斯分布’。

针对图示的二维数据云。

1. 声音
   观察依据

   讲述者说：“我们可以保留最重要的主成分，舍弃其余的主成分。”

2. 公式
   观察依据

   同一片段早先时刻，黑板上显示 $D = 2 \to D$' = 1。

1. 本节片段未在数学上定义‘最重要’的含义。

主成分分析通过保留最重要的主成分并舍弃其余主成分来实现降维。

1. 主成分已被识别出来。

2. 某些主成分被认为比其他主成分更重要。

针对降维步骤中被保留与被舍弃的主成分。

1. 声音
   观察依据

   讲述者说：“我们要寻找数据的最大离散程度或方差，因为这是信息最丰富的部分，是数据中最不可预测的部分。”

1. 该说法在视频中作为动机提出；本片段并未证明这一主张。

视频以‘最大离散程度或方差即为数据中信息最丰富、最不可预测的部分’作为主成分分析的动机。

1. 数据已完成中心化处理，或正处于方差分析的准备阶段。

针对当前讨论的数据云。

1. 公式
   观察依据

   绿色标注将 $x_i^T$ 标记为 $D \times 1$，$x_i$ 标记为 $1 \times D$，S 标记为 $D \times D$。

2. 声音
   观察依据

   讲述者说：‘如果我们取其中一行，将其转置后再做乘法运算，就会得到一个 D 行 D 列的矩阵。’

将转置后的行向量 $x_i^T$ 与行向量 $x_i$ 相乘，得到一个 $D \times D$ 矩阵；将所有这些项相加，便得到尺寸为 $D \times D$ 的矩阵 S。

1. $x_i$ 是一个 $1 \times D$ 的行向量。

2. 该乘法运算是 $x_i^T x_i$。

3. 求和是对所有数据样本 i 进行的。

对每个样本索引 i 及其累加所得的矩阵 S。

1. 声音
   观察依据

   旁白：主轴方向实际上就是该散度矩阵的特征向量。

在此处展示的 PCA 解释中，数据主轴的方向即为散度矩阵的特征向量。

1. 已由数据构造出一个散度矩阵 S。

2. 数据采用黑板上所示的中心化处理方式。

针对本片段中讨论的散度矩阵。

1. 声音
   观察依据

   旁白：每个特征向量都有一个所谓的特征值，用于刻画该特征向量的重要性，即其对应方向上数据离散程度的大小。

每个特征向量都对应一个特征值，该特征值刻画了该特征向量的重要性，并被解释为该方向上数据离散程度的大小。

1. 给出了散度矩阵的一个特征向量。

针对本片段中提到的每一个特征向量。

1. 声音
   观察依据

   旁白：由于 V 将我们的点 x 从高维空间投影到低维空间 D′，我们称 V 为投影矩阵。

由所选特征向量构成的矩阵 V 被称为投影矩阵，因为它将点从原始空间映射到低维空间。

1. V 由 D′ 个特征向量组装而成。

2. 数据点按图示方式乘以 V。

对于本片段中构造的矩阵 V。

1. 声音
   观察依据

   旁白：该投影矩阵的实际作用是旋转数据，并将其映射到一个维度低于原始空间的新空间中。

2. 动画
   观察依据

   所绘制的数据云被重新定向，然后坍缩到单一轴上。

投影矩阵旋转数据，并将其映射到一个维度低于原始空间的新空间中。

1. 投影矩阵 V 由特征向量构造而成。

2. 该示例将 $D=2$ 降为 D'=1。

对于本片段所展示的 PCA 投影。

1. 声音
   观察依据

   讲述者比较了向分布范围较小的直线与分布范围较大的直线进行投影，并得出主成分分析（PCA）保留的是分布范围最大的方向。

2. 动画
   观察依据

   同一片绿色点云先被投影到一条蓝色直线上，再被投影到一条红色直线上，展示了不同程度的信息损失。

1. 推导过程以直观图示和口头讲解为主，未写出任何符号化公式。

1. 公式

   $$$$
   解释

   从一张绿色点的2D 散点图开始，标注为 $D = 2$。

   步骤依据

   讲述者引入情形“若数据是二维的”，屏幕上显示“$D = 2$”。

   视频直接表达
2. 公式

   $$$$
   解释

   在点云中识别出两个候选方向，分别用蓝色向量和红色向量表示。

   步骤依据

   动画在散点图上叠加彩色箭头，以表示数据中的方向。

   视频直接表达
3. 公式

   $$$$
   解释

   将各点投影到蓝色方向上，观察到这些点在该直线上仍保持较明显的分布。

   步骤依据

   讲述者指出，若将所有点强制约束到分布范围较小的方向所在的直线上，信息损失不会太大，动画展示了保留下来的1D 分布。

   视频直接表达
4. 公式

   $$$$
   解释

   将各点投影到红色方向上，观察到点云几乎完全坍缩。

   步骤依据

   讲述者指出，若舍弃另一维度，将损失大量信息，因为该方向上的分布范围要大得多；动画展示了各点坍缩至单一位置。

   视频直接表达
5. 公式

   $$$$
   解释

   得出结论：主成分分析（PCA）应保留离散程度最大的方向，舍弃其余方向，直至达到所需的维度。

   步骤依据

   叙述者明确指出，这是主成分分析（PCA）算法的核心思想。

   视频直接表达

在此2维示例中，保留离散程度更大的方向能保留更多信息，因此降维时的直观规则是保留离散程度最大的方向。

1. 声音
   观察依据

   讲解从椭圆的直观理解过渡到‘让我们通过构建主成分分析（PCA）算法，从数学上来看如何实现这一点。’

2. 公式
   观察依据

   黑板依次引入 X，然后 $X \to X - X$̄，再给出 $S = \sum _i x_i^T x_i$；X̄ = 0。

3. 图示
   观察依据

   散点图首先被一个以主成分轴为长、短轴的椭圆所包围，然后将数据重新平移，使其中心位于坐标原点。

1. 这是一个主成分分析（PCA）的预备推导，而非完整的证明。

1. 公式

   $$D = 2 \rightarrow D' = 1$$
   解释

   本段始于将二维数据集降维至一维的目标。

   步骤依据

   直接从开场板书内容中观察得出。

   视频直接表达
2. 公式

   $$\text{Approximate the data cloud by an ellipse \text{且} find its main axes.}$$
   解释

   讲解者在进行代数运算之前，先为数据提出了一个直观的几何模型。

   步骤依据

   伴随散点图与椭圆绘制过程的口述解释。

   视频直接表达
3. 公式

   $$\text{principal component 1},\ \text{principal component 2}$$
   解释

   椭圆的长轴与短轴方向被识别为需要保留或舍弃的方向。

   步骤依据

   红色与蓝色箭头（画于椭圆内部）上标有标签。

   视频直接表达
4. 公式

   $$X = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1D} \\ x_{21} & x_{22} & \cdots & x_{2D} \\ \vdots & \vdots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{ND} \end{bmatrix}$$
   解释

   该直观图景被转化为一个数据矩阵，其行代表样本，列代表特征。

   步骤依据

   讲解者在此处明确以该形式引入 X，同时矩阵显示在屏幕上。

   视频直接表达
5. 公式

   $$X \rightarrow X - \overline{X}$$
   解释

   下一步算法操作是中心化，使数据的均值变为零。

   步骤依据

   口头讲解与板书推导均明确指出这一步骤。

   视频直接表达
6. 公式

   $$S = \sum_i x_i^T x_i \quad ; \quad \overline{X} = 0$$
   解释

   中心化之后，视频计算散度矩阵以刻画数据的离散程度。

   步骤依据

   公式显示在屏幕上，讲解员称其为散度矩阵。

   视频直接表达
7. 公式

   $$x_i^T\,(D\times 1)\ \cdot\ x_i\,(1\times D)\ \rightarrow\ S\,(D\times D)$$
   解释

   本片段的最后一步检验维度：每一行生成一个 D 乘 D 的外积，其和也是 D 乘 D。

   步骤依据

   绿色维度标注，以及讲解员关于取一行、转置后相乘的说明，均支持这一点。

   视频直接表达

该片段推导出主成分分析（PCA）的实际起点：将数据表示为 X，对其进行中心化，并构造散度矩阵 S，其尺寸为 D 乘 D。

1. 声音
   观察依据

   讲解员说道：‘请记住，我们已事先减去了均值。这正是散度矩阵公式不更复杂的原因。’

2. 公式
   观察依据

   黑板上显示$S = \sum_i x_i^T x_i$，同时显示$\overline{X} = 0$。

1. 本片段中，视频未展示更复杂的非中心化公式。

1. 公式

   $$\overline{X} = 0$$
   解释

   在引入S之前，数据已完成中心化。

   步骤依据

   这一条件写在散度矩阵公式旁，并在讲解中予以陈述。

   视频直接表达
2. 公式

   $$S = \sum_i x_i^T x_i$$
   解释

   由于均值为零，散度矩阵可直接写成各行向量外积之和。

   步骤依据

   讲解者明确将公式的简洁性归因于先前对均值的减法处理。

   视频直接表达

公式 $S = \sum_i x_i^T x_i$ 的简洁性源于此前的中心化步骤。

1. 声音
   观察依据

   旁白：我们有 $x_i$，它是一个 1 行 D 列的矩阵（即一个向量），乘以一个 D 行 D′ 列的矩阵；结果是一个 1 行 D′ 列的矩阵（即一个向量）。

2. 公式
   观察依据

   $z_i = x_i \cdot V$ 下方的维度标注显示为 $1 \times D$、$D \times D$' 和 $1 \times D$'。

1. 公式

   $$x_i \in \mathbb{R}^{1 \times D}$$
   解释

   原始数据点被视为行向量。

   步骤依据

   在 $x_i$ 下方显示维度标签，并口述说明 $x_i$ 是一个1乘以 D 的矩阵。

   视频直接表达
2. 公式

   $$V \in \mathbb{R}^{D \times D'}$$
   解释

   投影矩阵将选定的特征向量堆叠为一个 D 行 D' 列的矩阵。

   步骤依据

   在 V 下方显示维度标签，并口述说明将 D' 个特征向量放入一个矩阵中。

   视频直接表达
3. 公式

   $$z_i = x_i \cdot V$$
   解释

   投影后的点由数据行向量与投影矩阵相乘定义。

   步骤依据

   公式写在黑板上。

   视频直接表达
4. 公式

   $$z_i \in \mathbb{R}^{1 \times D'}$$
   解释

   因此结果是一个处于降维空间中的行向量。

   步骤依据

   矩阵乘法的维度规则应用于 ($1 \times D$)($D \times D$')。

   依据视频推导

乘积 $x_i V$ 得到一个$1 \times D$' 的向量，因此每个原始点都在降维后的 D' 维空间中表示。

1. 图示
   观察依据

   一个手写标签“$D = 2$”出现在一个填满绿色散点的2维坐标系上方。

2. 动画
   观察依据

   点云被反复投影到不同颜色的直线上，以比较信息损失。

1. 图中绘制的点未提供任何数值坐标。

给定一组2维数据点的散点图，若需将数据降至一维，需判断应保留哪个方向。

1. 数据是二维的，标记为 $D = 2$。

2. 这些点构成一个沿不同方向具有不同离散程度的拉长点云。

3. 两个候选方向以不同颜色的直线/向量形式直观呈现。

比较不同方向上的投影，并识别出哪一个方向的信息损失更小。

1. 公式

   $$$$
   解释

   显示原始的2D点云。

   步骤依据

   该示例首先以完整的二维形式展示数据。

   视频直接表达
2. 公式

   $$$$
   解释

   将各点投影到蓝色方向上。

   步骤依据

   动画将点云映射到一个候选轴上，以检验降维后仍保留哪些可见信息。

   视频直接表达
3. 公式

   $$$$
   解释

   观察发现，投影后的点仍在蓝色直线上占据一定范围。

   步骤依据

   讲解者指出，该方向的离散程度较小，将其压缩到一条直线上不会损失太多信息。

   视频直接表达
4. 公式

   $$$$
   解释

   将各点投影到红色方向上。

   步骤依据

   动画为作对比，测试另一个候选轴。

   视频直接表达
5. 公式

   $$$$
   解释

   观察发现，投影后的点几乎坍缩至同一位置。

   步骤依据

   讲解者解释，该方向的离散程度大得多，舍弃它会丢失大量信息。

   视频直接表达
6. 公式

   $$$$
   解释

   选择离散程度更大的方向作为保留的方向。

   步骤依据

   讲解者指出，主成分分析（PCA）的核心思想是保留离散程度最大的方向，舍弃其余方向。

   视频直接表达

保留离散程度最大的方向；在视觉示例中，舍弃离散程度较小的方向比舍弃离散程度较大的方向所损失的信息更少。

验证方式是视觉化的：投影到离散程度较小的方向上，会得到一个分散的1D数据集；而投影到离散程度较大的方向上，则会使数据云坍缩。

1. 公式
   观察依据

   黑板上写出 $D = 2 \to D$' = 1。

2. 图示
   观察依据

   一幅二维散点图，绿色点集被一个灰色椭圆包围。

3. 图示
   观察依据

   画出一条红色长轴和一条蓝色短轴，并分别标注为“主成分1”和“主成分2”。

4. 声音
   观察依据

   讲解者指出，应使用椭圆来近似数据，并保留最重要的主成分，舍弃其余成分。

1. 本例中未展示任何数值坐标或显式的协方差计算过程。

给定一个二维数据点云，需识别出在将数据降至一维时应保留的方向。

1. 数据以二维形式绘出。

2. 黑板上注明 $D = 2$，目标维度 D' = 1。

3. 点云被一个椭圆近似表示。

找出数据的主方向，并决定在降维中保留哪一个方向。

1. 公式

   $$\text{Fit an ellipse around the scatter plot.}$$
   解释

   这种视觉近似用一个简单的几何形状替代原始点云。

   步骤依据

   椭圆绘制在绿色点周围，同时旁白描述用二维高斯分布来近似这些数据。

   视频直接表达
2. 公式

   $$\text{Identify the main axes of the ellipse.}$$
   解释

   提取椭圆的长轴和短轴作为候选方向。

   步骤依据

   沿这些轴绘制红色和蓝色箭头。

   视频直接表达
3. 公式

   $$\text{Label the axes as principal component 1 \text{且} principal component 2.}$$
   解释

   这些被命名的轴，正是视频中指出我们正在寻找的方向。

   步骤依据

   文字标签出现在红色和蓝色箭头旁边。

   视频直接表达
4. 公式

   $$\text{Keep the most important principal component \text{且} discard the other.}$$
   解释

   对于 $D = 2 \to D$' = 1，该降维过程保留一个方向，舍弃另一个方向。

   步骤依据

   旁白明确陈述了这一保留/舍弃规则。

   视频直接表达

该示例得出结论：所拟合椭圆的主成分轴给出了降维所需的方向；而在 2D 到 1D 的 case one 中，保留了最重要的主成分，舍弃了另一个。

答案与屏幕上显示的标签“主成分 1”和“主成分 2”以及所写的降维式 $D = 2 \to D$' = 1 相符。

1. 图示
   观察依据

   右侧显示一个中心化的2D 点云，其中 $D = 2$，并标出两个特征向量箭头。

2. 公式
   观察依据

   右上角的过渡显示 $D = 2 \to D$' = 1。

3. 动画
   观察依据

   最后，点云被旋转并投影到单一轴上。

给定一个中心化后的2维数据云，利用散度矩阵的特征向量构造投影，从而获得1维坐标。

1. 原始维度 $D = 2$。

2. 数据矩阵 X，其行向量为 $x_i \in \mathbb{R}^D$。

3. 散度矩阵 $S = \sum_i x_i^T x_i$，其中均值 $\bar{x}=0$ 已标出。

4. 画出了两个特征向量方向：一个对应最大特征值，另一个对应最小特征值。

5. 目标降维后维度 D' = 1。

计算降维空间中各点的投影坐标 $z_i$，并解释其几何意义。

1. 公式

   $$S = \sum_i x_i^T x_i$$
   解释

   由中心化后的数据构造散度矩阵。

   步骤依据

   公式展示与口述说明，指出 S 即为散度矩阵。

   视频直接表达
2. 公式

   $$\text{compute eigenvalues \text{且} eigenvectors of } S$$
   解释

   找出主方向及其对应的离散程度数值。

   步骤依据

   口述说明：我们先取散度矩阵，再计算其特征值与特征向量。

   视频直接表达
3. 公式

   $$\text{sort eigenvectors by eigenvalue}$$
   解释

   按重要性对方向排序，再决定保留哪些方向。

   步骤依据

   旁白明确指出，需按特征值大小排序以确定各主成分的重要性。

   视频直接表达
4. 公式

   $$D = 2 \rightarrow D' = 1$$
   解释

   选择仅保留降维表示中的一个维度。

   步骤依据

   右上角显示状态切换，并配有旁白，说明如何决定降维后的维度数量。

   视频直接表达
5. 公式

   $$V = \begin{bmatrix} v_1 \\ \vdots \\ v_{D'} \end{bmatrix}$$
   解释

   将所选的特征向量组装成投影矩阵。

   步骤依据

   黑板公式及旁白将 V 描述为由特征向量构成的矩阵。

   视频直接表达
6. 公式

   $$z_i = x_i \cdot V$$
   解释

   将每个原始数据点投影到新的低维空间中。

   步骤依据

   黑板公式及旁白定义新坐标 z。

   视频直接表达
7. 公式

   $$\text{rotate the cloud, then collapse onto the chosen axis}$$
   解释

   最终动画展示了从2维到1维示例中投影的几何含义。

   步骤依据

   视觉序列从100s 变换为113s，并配以旁白：投影矩阵对数据进行旋转，并将其映射至低维空间。

   视频直接表达

在2维示例中，通过选取主导特征向量方向并执行投影 $z_i = x_i V$，将数据降至1维；直观来看，点云先被旋转，再坍缩至单一轴线上。

所显示的维度验证式（$1 \times D$)($D \times D$') = $1 \times D$' 与最终1维投影图一致，其中 $D=2$、D'=1。

1. 声音
   观察依据

   这是 scikit-learn 官方示例之一，对鸢尾花数据集应用主成分分析（PCA）进行降维……

2. 公式
   观察依据

   导入 numpy 库并简写为 np 导入 matplotlib.pyplot 库并简写为 plt 从 mpl_toolkits.mplot3d 导入 Axes3D 从 sklearn 导入 decomposition 模块 从 sklearn 导入 datasets 模块 加载鸢尾花数据集 iris 提取特征矩阵 X 提取目标向量 y 创建 PCA 实例，指定主成分数量为3 对特征矩阵 X 进行 PCA 拟合 将 X 转换为降维后的表示

使用 Python 中的 PCA 将具有 4 个特征的鸢尾花数据集降维至 3 维以实现可视化。

1. 鸢尾花数据集包含 4 个特征（例如花瓣宽度、花瓣长度）。

2. scikit-learn 库。

执行主成分分析（PCA），将 4D 数据转换为 3D 数据。

1. 公式

   $$import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets$$
   解释

   导入必要的库：numpy 用于数组操作，matplotlib 用于绘图，sklearn 用于机器学习（包括降维与数据集模块）。

   步骤依据

   用于数据处理、可视化以及应用主成分分析（PCA）算法。

   视频直接表达
2. 公式

   $$iris = datasets.load_iris() X = iris.data y = iris.target$$
   解释

   加载鸢尾花数据集，并分离特征（X）与标签（y）。

   步骤依据

   机器学习中准备建模数据的标准做法。

   视频直接表达
3. 公式

   $$pca = decomposition.PCA(n_components=3)$$
   解释

   初始化 PCA 模型，并指定保留 3 个主成分。

   步骤依据

   定义降维目标维度（d' = 3），即从原始的4维降至该维度。

   视频直接表达
4. 公式

   $$pca.fit(X)$$
   解释

   将PCA模型拟合到特征数据X上。

   步骤依据

   根据数据中的方差计算主成分，不使用标签y。

   视频直接表达
5. 公式

   $$X = pca.transform(X)$$
   解释

   将原始特征数据X变换至新的3维空间中。

   步骤依据

   将数据投影到所计算出的主成分上。

   视频直接表达

该代码成功将4维的鸢尾花数据集降维为3维表示。

变换后得到的X将具有3列而非4列，从而支持3维绘图。

1. 公式
   观察依据

   iris = datasets.load_iris() X = iris.data y = iris.target pca = decomposition.PCA(n_components=3) pca.fit(X) X = pca.transform(X)

2. 声音
   观察依据

   我们可以利用其余代码来生成您在此处侧边看到的3D可视化效果。

演示如何加载鸢尾花数据集、拟合一个包含3个成分的PCA模型、对数据进行变换，并为3D可视化做好准备。

1. 鸢尾花数据集可通过 sklearn.datasets.load_iris() 获取。

2. 希望将维度降至3个成分，以用于3D绘图。

获得鸢尾花数据的一个3维表示，适用于3D散点图绘制。

1. 公式

   $$iris = datasets.load_iris()$$
   解释

   加载内置的鸢尾花数据集。

   步骤依据

   标准的 scikit-learn 数据集加载方式。

   视频直接表达
2. 公式

   $$X = iris.data y = iris.target$$
   解释

   将特征与标签分离。

   步骤依据

   这是大多数机器学习算法所要求的格式。

   视频直接表达
3. 公式

   $$pca = decomposition.PCA(n_components=3)$$
   解释

   初始化PCA估计器，并指定需要3个成分。

   步骤依据

   该设置与3D可视化所需的输出维度一致。

   视频直接表达
4. 公式

   $$pca.fit(X)$$
   解释

   拟合PCA模型以学习主方向。

   步骤依据

   计算变换所需的内部统计量。

   视频直接表达
5. 公式

   $$X = pca.transform(X)$$
   解释

   将原始数据投影到3D主成分空间中。

   步骤依据

   生成降维后的表示。

   视频直接表达

变量X现在包含一个3D数组，该数组在主成分空间中表示鸢尾花样本，已准备好用于3D绘图。

通过附带的3D散点图进行可视化验证，图中显示了标记为“山鸢尾”、“变色鸢尾”和“维吉尼亚鸢尾”的聚类点。

1. 图示
   观察依据

   文字显示为“主成分分析（PCA）实现降维”和“维度之 blurse”，并配有标注为“福音”和“诅咒”的箭头。

1. “blurse”一词明显不符合标准用法；仅凭该视频片段无法判断这是有意为之的幽默还是拼写错误。

1. 标题文字：“主成分分析（PCA）实现降维”

2. 类似副标题的文字：“维度之 blurse”

3. 标注为“福音”和“诅咒”的箭头

4. 动画咖啡豆角色

1. 标题与副标题依次出现。

2. 添加箭头以对比“福音”与“诅咒”。

1. 主题始终围绕由维度过多所带来的“诅咒”所驱动的降维问题。

视觉呈现以高维数据存在问题为背景，引出降维作为一种应对策略。

1. 图示
   观察依据

   角色周围出现了多个方法名称：PCA、ICA、BBA、Funny-yay、NMF、LDA、IDA、t-SNE、UMAP、Autoencoders。

2. 声音
   观察依据

   讲述者列举了多种降维方法，随后更正了该列表。

1. “BBA”和“Funny-yay”出现在初始列表中，但在更正后的口述列表中未再出现；它们作为玩笑条目的身份被暗示，但屏幕上并未明确确认。

1. PCA、ICA、BBA、Funny-yay、NMF、LDA、IDA、t-SNE、UMAP、Autoencoders 的文字标签

2. 动画角色

1. 最初出现了一组方法名称。

2. 讲述者表示自己说错了，随后口述了一个更正后的列表。

3. 最终在画面上可见的列表包含 PCA、ICA、NMF、LDA、IDA、t-SNE、UMAP、Autoencoders。

1. 所有列出的项目均作为降维这一广泛主题下的可选方法呈现。

该序列将 PCA 定位为一大类降维技术中的一个成员。

1. 图示
   观察依据

   居中显示文字“PCA”，随后显示“主成分分析”。

1. 文字“PCA”

2. 文字“主成分分析”

1. 先显示缩写，再展开为全称。

1. 该片段从众多方法逐步聚焦到PCA这一具体方法。

此视觉事件定义了本片段后续将使用的缩写。

1. 动画
   观察依据

   一个2D散点图出现，绿色点构成数据云，并带有彩色方向向量，随后数据云坍缩至一条主导直线上。

1. 在本次快速演示中，各彩色向量所对应的确切语义映射未以文字标注。

1. 2D坐标轴

2. 绿色散点

3. 蓝色向量

4. 红色向量

5. 坍缩的1D投影

1. 显示原始的2D数据云。

2. 叠加显示方向向量。

3. 各点被投影到一条直线上，使可视化降为一维。

1. 数据在投影前后仍以相同的点云形式表示。

该动画在较慢的解释性示例之前，快速直观地概括了主成分分析（PCA）。

1. 图示
   观察依据

   标签“$D = 2$”出现在一个2D散点图上方。

2. 动画
   观察依据

   同一数据云先后投影到蓝色直线和红色直线上，结果明显不同。

1. 标签“$D = 2$”

2. 2维坐标轴

3. 绿色点云

4. 蓝色直线/向量

5. 红色直线/向量

6. 投影后的点集

1. 示例重置为一个干净的2维图像。

2. 向蓝色方向投影后，得到一个分布较广的1维点集。

3. 向红色方向投影后，该点集几乎坍缩为一个点。

4. 讲解者得出结论：应保留分布最广的方向。

1. 所有对比投影所基于的2维原始点云是相同的。

视觉对比所体现的规则是：舍弃分布较小的方向，比舍弃分布较大的方向更能保持数据的可区分性。

1. 公式
   观察依据

   黑板顶部显示：$D = 2 \to D$' = 1。

2. 图示
   观察依据

   下方可见一条类似水平数轴的轴线，上面聚集着绿色点。

1. 句子最开头被截断，因此‘D 撇’之前的完整口述铺垫内容不可知。

1. 文字：$D = 2$

2. 箭头

3. 文字：D' = 1

4. 带绿色点的水平轴

1. 降维后的维度 D' = 1 写在箭头之后。

2. 点簇仍保留在水平轴上。

1. 原始维度仍标记为 $D = 2$。

该片段以说明目标开篇：将二维表示降维至一维。

1. 图示
   观察依据

   一个灰色椭圆绘制在绿色散点图周围。

2. 图示
   观察依据

   一条红色箭头沿长轴方向、一条蓝色箭头沿短轴方向，从中心点延伸而出。

3. 公式
   观察依据

   箭头附近标注文字：“主成分1”和“主成分2”。

1. 绿色散点

2. 灰色椭圆

3. 红色长轴箭头

4. 蓝色短轴箭头

5. 坐标轴标签

1. 椭圆被添加到点云周围。

2. 红色与蓝色箭头沿椭圆的轴线绘制。

3. 文字标签为两个主成分命名。

1. 底层的散点图保持在相同位置。

2. 坐标轴保持不变。

该图形直观地表达了数据云的主要方向即为椭圆的轴，这些轴被认定为主成分。

1. 图示
   观察依据

   椭圆及主成分箭头消失，仅留下散点图。

2. 公式
   观察依据

   矩阵 X 写在黑板左侧。

3. 公式
   观察依据

   第一行被高亮显示，并标注为 $x_{i=1} \in \mathbb{R}^D$。

1. 散点图

2. 矩阵 X

3. 被高亮的第一行

4. 标注 $x_{i=1} \in \mathbb{R}^D$

1. 移除了椭圆覆盖层。

2. 数据矩阵 X 在左侧引入。

3. 第一行被单独视为 ℝ^D 中的一个向量。

1. 散点图在右侧保持可见。

2. 顶部标签 $D = 2$ 保持可见。

视频通过将数据表示为行向量构成的矩阵，把直观图示转化为代数表达。

1. 动画
   观察依据

   散点图发生平移，使得点云以原点为中心。

2. 公式
   观察依据

   黑板上写出 $X \to X$ - 〔X̄〕。

1. 散点图

2. 坐标轴

3. 公式 $X \to X$ - 〔X̄〕

1. 点云从右上区域移动至以原点为中心的位置。

2. 减法公式写在图像下方。

1. 数据云的形状保持不变。

2. 坐标轴本身保持固定。

动画演示了均值中心化：减去均值会平移数据，但不改变其离散程度。

1. 公式
   观察依据

   黑板上写出 $S = \sum_i x_i^T x_i$ ；$\overline{X} = 0$。

2. 公式
   观察依据

   绿色箭头标注 $x_i^T$ 为 $D \times 1$，$x_i$ 为 $1 \times D$，S 为 $D \times D$。

1. S 的公式

2. 条件 $\overline{X} = 0$

3. 绿色维度标注

1. 散度矩阵公式被写出。

2. 维度标签逐一添加到各因子及 S 上。

1. 居中的散点图保留在右侧。

2. 矩阵 X 保留在左侧。

视觉标注解释了为何每个外积 $x_i^T x_i$ 的尺寸为 $D \times D$，以及为何求和后的散度矩阵 S 的尺寸也为 $D \times D$。

1. 图示
   观察依据

   左侧展示数据矩阵 X，其中一行被圈出；右侧展示中心化后的2维散点图，含绿色数据点及两条彩色箭头；底部显示 $S = \sum_i x_i^T x_i$ 和 $\bar{x}=0$。

1. 数据矩阵X

2. 标有圆圈的行$x_{i=1} \in \mathbb{R}^D$

3. 2D散点图，点为绿色

4. 穿过原点的红色与蓝色箭头

5. S的公式

6. 条件$\bar{x}=0$

1. 该场景建立了代数矩阵表示与几何点云之间的关系。

1. 示例中数据呈现为已中心化。

2. 该图保持在2D空间中，其中$D=2$。

板书通过将从数据行计算出的散度矩阵与点云上绘制的主方向关联起来，引出PCA。

1. 图示
   观察依据

   箭头附近出现文字标签：“对应最大特征值的特征向量”和“对应最小特征值的特征向量”。

2. 动画
   观察依据

   一个 numpy.linalg.eig 的提示框在画面顶部中央附近短暂出现，时间约为28-31秒。

1. 本片段中未通过语音说明该 numpy.linalg.eig 提示框的具体作用。

1. 红色箭头

2. 蓝色箭头

3. 对应最大/最小特征值的文字标签

4. numpy.linalg.eig 提示框

1. 两个箭头的方向被明确标识为按特征值大小排序的特征向量。

2. 出现一条计算说明，指出特征分解可在代码中实现。

1. 标注过程中，底层点云与坐标轴均保持不变。

这一视觉步骤将抽象的特征分解与数据分布的几何形态联系起来，并暗示其实际计算途径。

1. 图示
   观察依据

   屏幕上的短语显示为“维度灾难”。

2. 声音
   观察依据

   讲述者谈到维度过多常常是一种诅咒。

1. 图中出现的“blurse”一词，尚不清楚是刻意的文字游戏，还是单纯的排版错误。

观众可能将“维度诅咒（blurse of dimensionality）”误认为是一个标准术语。

口述讲解中提及的是“维度诅咒（curse of dimensionality）”；“blurse”并非标准术语，应视作画面中的排版错误或玩笑。

1. 图示
   观察依据

   第一个列表中包含“BBA”和“Funny-yay”。

2. 声音
   观察依据

   讲述者说“好吧，我搞错了”，随后给出一份更正后的列表，其中不包含这两项。

1. 该片段并未明确将“BBA”和“Funny-yay”标注为玩笑，但后续的更正已强烈暗示它们不属于原本意图列出的标准方法。

观众可能误以为第一个列表中出现的所有缩写都是已被确立的降维方法。

讲述者更正了该列表，后续口述的列表中已剔除“BBA”和“Funny-yay”；本片段中可信的、有明确名称的降维方法包括：PCA、ICA、NMF、LDA、IDA、t-SNE、UMAP 和自编码器。

1. 声音
   观察依据

   讲解者说：‘但直觉不会为我们进行计算，数学才会。’

人们可能认为仅凭椭圆图就足以执行主成分分析（PCA）。

该视频明确对比了直觉与计算，随后着手构建数学形式的 PCA 算法。

1. 声音
   观察依据

   讲解者指出，该公式并不更复杂，是因为均值已被预先减去。

2. 公式
   观察依据

   黑板上显示 $S = \sum_i x_i^T x_i$，同时附有 $\overline{X} = 0$。

人们可能将 $S = \sum_i x_i^T x_i$ 理解为无附加条件的一般公式。

在此片段中，该公式是在中心化之后呈现的，并同时写出了 $\overline{X} = 0$。

1. 公式
   观察依据

   黑板上将矩阵 V 写为行向量形式，其行为 $v_1$, $\dots$, v_{D'}，并使用 $z_i = x_i \cdot V$；而许多标准教材将特征向量写作列向量，并依惯例采用 $V^T x$ 或 $x^T V$。

学习者可能误以为所展示的公式 $z_i = x_i V$ 是 PCA 投影唯一有效的表示惯例。

本片段采用行向量惯例：数据点 $x_i$ 为 $1 \times D$ 矩阵，所选特征向量作为行堆叠构成 $D \times D$' 矩阵 V。亦存在等价的列向量与转置形式；关键不变量在于：该投影将 D 维数据映射为 D' 维坐标。

1. 声音
   观察依据

   我们不使用也不需要任何标签 y，因为它们在 PCA 算法中毫无用处。

误以为目标标签（y）是计算主成分分析（PCA）所必需或有用的。

PCA 是一种无监督算法，既不使用也不需要目标标签；它仅作用于特征数据（X）。

1. 声音
   观察依据

   真的有这么简单吗？没错，就是这么简单。现在当你需要降维时，再也没理由不使用它了。

用户可能认为，由于 scikit-learn 等库能自动执行 PCA 步骤，因此无需理解其背后的线性代数原理。

尽管实现过程很简单，但要正确解读结果、选择 n_components、诊断失效原因，以及明确相关假设（如线性、正交性、方差最大化），都需要扎实掌握拟合过程中隐含的数学基础。

1. 声音
   观察依据

   讲述者首先讨论如何消除过多的维度，接着说明今天的基础知识将通过 PCA 的例子来讲解。

2. 图示
   观察依据

   标题提到了主成分分析（PCA）降维，随后列出若干方法，接着是PCA的定义画面。

PCA被呈现为更广泛的降维主题中的一种具体方法。

1. 声音
   观察依据

   在将PCA定义为“主成分分析”之后，讲述者立即用一句话概括了PCA的核心作用。

在给出命名定义后，视频片段紧接着以操作性方式描述了PCA的核心思想。

1. 声音
   观察依据

   关于寻找重要方向的一般性陈述，通过后续对2D示例中数据离散程度的讨论而具体化。

2. 动画
   观察依据

   “重要方向”这一抽象概念，通过沿不同坐标轴进行投影的对比得以说明。

基于离散程度的判定规则，是本视频片段中用于解释PCA为何认为某方向重要的具体标准。

1. 声音
   观察依据

   讲述者得出“PCA保留离散程度最大的方向”这一结论，直接源于对两种投影结果的对比。

所陈述的核心思想，依赖于此前关于不同投影下信息损失的直观对比。

1. 公式
   观察依据

   黑板首先显示 $D = 2 \to D$' = 1。

2. 声音
   观察依据

   讲解者随后提问如何实现这一点，并提出用椭圆来近似拟合这些数据。

基于椭圆的主成分概念被引入，作为直观达成前述降维目标的方法。

1. 声音
   观察依据

   讲解者指出直觉无法直接计算，继而从数学上构建主成分分析（PCA）算法。

2. 公式
   观察依据

   黑板画面从椭圆图示转向显式写出矩阵 X。

代数建模始于将几何图示中的数据云编码为一个行向量构成的矩阵。

1. 公式
   观察依据

   在写出 X 后，黑板进一步写出 $X \to X - \overline{X}$。

2. 声音
   观察依据

   讲解者说：‘接下来我们要对数据进行中心化处理。’

中心化操作直接施加于此前刚刚引入的数据矩阵 X 上。

1. 公式
   观察依据

   散度矩阵公式行中包含；$\overline{X} = 0$。

2. 声音
   观察依据

   讲解者指出该公式更简洁，是因为均值已被预先减去。

所展示的散度矩阵公式依赖于先前的中心化步骤，该步骤使得 $\overline{X} = 0$。

1. 声音
   观察依据

   讲述者表示希望获得最大的离散程度或方差，随后为此目的计算散度矩阵。

2. 公式
   观察依据

   在这一动机之后立即引入 $S = \sum_i x_i^T x_i$。