归一化与标准化——详解

1. 公式
   观察依据

   归一化后的X

X_{norm}

该特征的归一化值

实数

1. 公式
   观察依据

   X

X

该特征的原始值

实数

1. 公式
   观察依据

   X的最小值

X_{min}

该特征的最小值

实数

1. 公式
   观察依据

   X的最大值

X_{max}

该特征的最大值

实数

1. 公式
   观察依据

   变量 X 在公式 $z = (X - μ) / σ$ 中定义。

2. 字幕依据
   观察依据

   公式下方的文字为“X：原始值”。

X

某个特征数据点的原始值。

实数

1. 公式
   观察依据

   变量 μ 在公式 $z = (X - μ) / σ$ 中定义。

2. 字幕依据
   观察依据

   公式下方的文字为“μ：该特征的均值”。

μ

该特征的均值。

实数

1. 公式
   观察依据

   变量 σ 在公式 $z = (X - μ) / σ$ 中定义。

2. 字幕依据
   观察依据

   公式下方的文字为“σ：标准差”。

σ

该特征的标准差。

正实数

1. 公式
   观察依据

   变量 z 是公式 $z = (X - μ) / σ$ 的计算结果。

z

该特征的标准化值（Z 分数）。

实数

1. 声音
   观察依据

   讲解者指出，如果某个算法明确要求特征值必须处于某一特定范围内（例如0到1），那么归一化便是合适的选择。

2. 图示
   观察依据

   屏幕文字显示：“是否需要特定范围（0–1）？”

[0, 1]

一个固定的数值区间，代表归一化后数据值的目标范围。

实数

1. 声音
   观察依据

   讲解者指出，标准化将数据转换为均值为零、方差为一的形式。

$\mu = 0$, $\sigma^2 = 1$

标准化数据的统计特性：均值为零，方差为一。

实数

1. 声音
   观察依据

   归一化是一种缩放技术，它将特征变换到特定范围内，通常为零到一之间。

2. 图示
   观察依据

   动画展示数据点被压缩到[0, 1]范围内。

归一化是一种数据预处理技术，它将数值型特征重新缩放到一个预定义的范围内，通常为0到1之间。这能确保所有特征对模型的贡献程度相同，防止本身取值较大的特征对模型产生过大的影响。

1. 适用于数值型特征

2. 当算法要求输入落在某一特定区间内时使用

1. 声音
   观察依据

   最常见的归一化形式是最小-最大缩放（Min-Max Scaling）。该方法将特征线性缩放到一个固定范围，通常为零到一。

2. 公式
   观察依据

   X的归一化值等于X减去X的最小值，再除以X的最大值减去X的最小值。

最小-最大缩放是一种线性变换，它将某个特征的最小值映射到0，最大值映射到1，其余所有值则按比例落在两者之间。

1. X_max > X_min（分母不能为零）

1. 归一化的定义

1. 声音
   观察依据

   解说员指出，归一化可防止梯度消失或爆炸，并加快基于梯度下降算法的收敛速度。

2. 动画
   观察依据

   画面显示偏斜的椭圆转变为球形等高线，并形成一条直达最小值点的直线路径。

3. 声音
   观察依据

   解说员提到，它确保所有特征被同等对待，防止较大数值在距离计算或权重更新中产生不成比例的影响。

归一化将各特征缩放到相近的取值范围内，从而使代价函数的等高线更趋近球形。这使得梯度下降能更直接、更高效地找到最小值，避免梯度消失或爆炸等问题；同时也确保所有特征在距离计算和权重更新中贡献均等。

1. 各特征具有不同的量纲（或尺度）

2. 使用基于梯度下降的算法。

1. 声音
   观察依据

   解说员指出，一个显著缺点是其对异常值敏感。

2. 动画
   观察依据

   画面显示单个极端异常值将绝大多数正常数据点压缩到一个极窄的区间内。

最小-最大缩放使用某个特征的最小值和最大值。单个极端离群值可能严重扭曲整个缩放后的取值范围，将大多数正常数据点挤压到一个极窄的区间内，导致它们彼此失去区分度。

1. 数据中存在极端离群值。

1. 声音
   观察依据

   讲解员将标准化定义为：将数据变换为均值为零、标准差为一的过程。

2. 动画
   观察依据

   图示呈现一条以零为中心的钟形曲线，且 $σ = 1$。

标准化将数据变换为均值为零、标准差为一的形式。与归一化不同，它并不将数值限定在某个特定范围内，而是重塑分布形态，使其接近标准正态分布。

1. 数据需要以其离散程度为基准进行中心化和缩放。

1. 公式
   观察依据

   屏幕上显示公式：$z = (X - μ) / σ$。

2. 声音
   观察依据

   讲解员解释Z分数变换：先减去均值，再除以标准差。

标准化的核心是Z分数变换。对每个特征，先减去该特征的均值，再除以其标准差。这使得数据以零为中心，并依据其离散程度完成缩放。

1. 对应的式子为：$σ > 0$

1. 标准化的定义

1. 声音
   观察依据

   讲解员列举了受益于标准化的算法：线性回归、逻辑回归、支持向量机以及主成分分析（PCA）。

2. 字幕依据
   观察依据

   屏幕文字列出：'适用于基于高斯分布的算法'、'线性回归与逻辑回归'、'主成分分析（PCA）'、'支持向量机（RBF核）'。

标准化通常更适用于那些对数据分布有假设的算法，例如线性回归、逻辑回归以及某些类型的支持向量机；它也适用于主成分分析（PCA），以确保所有特征无论原始方差如何，都能对结果作出均等贡献。

1. 使用基于高斯分布的算法或主成分分析（PCA）。

1. 标准化的定义

1. 声音
   观察依据

   讲解者解释道，标准化使用均值和标准差，因此相较于归一化中所用的最小值与最大值，它更不易受异常值影响，从而能更好地保持数据点之间的相对距离与离散程度。

2. 图示
   观察依据

   屏幕文字显示：“标准化：保持相对离散程度”。

标准化利用数据集的均值与标准差。由于这些统计量相较于归一化中使用的最小值与最大值，受极端值的影响更小，因此即使存在异常值，标准化也能更好地保持数据点之间的相对距离，并维持具有代表性的离散程度。

1. 数据中包含异常值

1. 声音
   观察依据

   讲解者指出，标准化并不会将数据缩放到固定区间，因此变换后的数值在正向或负向都可能无限延伸，这对于需要严格预设区间的模型而言可能成为问题。

2. 图示
   观察依据

   动画展示了一条从 -∞ 延伸至 +$\infty$ 的数轴，并配有文字：“局限性：无界区间”和“数值可能超出特定区间”。

标准化的一个关键局限在于，它不会将数据约束在固定区间内。所得的标准化数值在理论上可在正向或负向无限延伸。这种缺乏上界或下界的特性，可能导致依赖输入特征严格落在预设区间内的算法出现问题。

1. 算法要求输入必须处于严格且预设的区间内

1. 标准化对异常值的鲁棒性

1. 声音
   观察依据

   讲解者根据数据特征与算法需求，概述了在归一化与标准化之间进行选择的判断标准。

2. 图示
   观察依据

   屏幕上出现一个列表：“1. 是否存在离群值？→ 标准化”，“2. 是否需要特定区间（0-1）？→ 归一化”，“3. 算法类型（KNN 还是树模型）？→ 检查其假设”。

在归一化与标准化之间进行选择，取决于具体的数据特点以及所用算法的要求。若数据中存在离群值，标准化通常更稳妥，因其对失真具有更强的鲁棒性；若算法明确要求特征必须落在某个特定区间内，例如0到1，则应选用归一化；此外，还需考虑模型本身的假设，例如是否依赖距离度量（如 KNN）或基于树的结构。

1. 标准化对异常值的鲁棒性
2. 标准化的局限性：无界区间

1. 声音
   观察依据

   讲解者总结道，这两种技术都是解决特征缩放问题不可或缺的工具，但采用的方法不同：归一化将数据缩放到固定区间，而标准化则将数据变换为均值为零、方差为一。

2. 图示
   观察依据

   屏幕上显示一张对比表格，分别列出了归一化与标准化在区间范围、对离群值的敏感性以及最佳适用场景三方面的差异。

归一化和标准化都是数据科学中处理特征缩放的关键预处理技术，但适用于不同场景。归一化将数据缩放到一个固定区间，通常是0到1，因此适用于KNN和神经网络等算法，但对异常值敏感。标准化则将数据变换为均值为零、方差为一的形式，对异常值具有鲁棒性，最适合回归分析和主成分分析（PCA）。选择合适的技术会显著影响模型性能与可解释性。

1. 标准化对异常值的鲁棒性
2. 标准化的局限性：无界区间
3. 选择特征缩放方法的判断标准

1. 声音
   观察依据

   讲解员指出，标准化相较于归一化的一个关键优势在于其对异常值具有更强的鲁棒性。

2. 字幕依据
   观察依据

   屏幕文字显示：'归一化：受异常值影响而偏斜'。

1. 关于标准化为何对异常值具有鲁棒性的解释在视频结尾处被截断。

与最小-最大归一化相比，标准化对异常值更具鲁棒性。

1. 数据中包含异常值。

关于两种方法性质的一般性说明。

1. 声音
   观察依据

   这种简单的线性变换可确保最小值变为零，最大值变为一，其余所有值则按比例落在两者之间。

1. 公式

   $$X = X_{min}$$
   解释

   将最小值代入公式。

   步骤依据

   X_min 的定义

   依据视频推导
2. 公式

   $$X_{norm} = \frac{X_{min} - X_{min}}{X_{max} - X_{min}} = 0$$
   解释

   分子变为零，得到归一化值为0。

   步骤依据

   算术化简

   依据视频推导
3. 公式

   $$X = X_{max}$$
   解释

   将最大值代入公式。

   步骤依据

   X_max 的定义

   依据视频推导
4. 公式

   $$X_{norm} = \frac{X_{max} - X_{min}}{X_{max} - X_{min}} = 1$$
   解释

   分子等于分母，得到归一化值为1。

   步骤依据

   算术化简

   依据视频推导

最小-最大缩放公式正确地将特征的最小值映射为0，最大值映射为1。

1. 声音
   观察依据

   设想一个数据集：其中一个特征表示人的年龄，通常范围为0至100；另一个特征表示其收入，可能从数千到数百万不等。

2. 图示
   观察依据

   展示两条数轴：年龄（0–100）与收入（0–1,000,000）。一条红色箭头表明二者存在巨大的量级差异。

演示原始数据特征为何可能具有截然不同的尺度，以及这种差异为何会对机器学习造成问题。

1. 特征1：年龄（范围0至100）

2. 特征2：收入（范围0至1,000,000）

展示未缩放数据对基于距离的算法所产生的影响。

1. 公式

   $$$$
   解释

   比较这两个特征的取值范围。

   步骤依据

   数轴的直观表示

   视频直接表达
2. 公式

   $$$$
   解释

   观察到年龄变化1个单位，相较于收入变化1个单位而言微不足道。

   步骤依据

   尺度差异为10,000倍

   依据视频推导

若不进行缩放，取值较大的特征（如收入）可能在学习过程中占据主导地位，从而误导依赖距离度量的算法。

使用数轴直观演示巨大的尺度差异。

1. 动画
   观察依据

   白色圆点代表数据点，在一条较长的“原始原始范围”线上移动并压缩至一条较短的青色“归一化范围[0, 1]”线上。

1. 原始数据范围线

2. 归一化范围0到1线

3. 数据点（圆点）

1. 数据点从较宽的范围移动到较窄的范围

2. 点之间的相对距离被保持，但按比例缩小

1. 数据点的顺序保持不变

2. 点之间的比例关系得以维持

直观地展示了归一化如何将数据压缩进预设边界，同时保持各数据点间的相对比例。

1. 图示
   观察依据

   出现两条水平数轴：上方数轴标注为“年龄（0–100）”，刻度间隔为10个单位；下方数轴标注为“收入（0–1百万）”，刻度间隔为200,000个单位；一条红色弯曲箭头从上方数轴指向下方数轴，并标注“巨大的量纲差异”。

1. 年龄数轴

2. 收入数轴

3. 红色箭头

4. 文本标签

1. 无，静态图示

1. 数轴的相对长度表示各取值范围的量级大小

凸显原始数据集中年龄与收入等典型特征之间在量级上的巨大差异。

1. 动画
   观察依据

   红色倾斜椭圆转变为绿色同心圆，一条黄色箭头直接指向中心。

1. 倾斜椭圆

2. 同心圆

3. 黄色箭头

1. 椭圆变为圆形

2. 箭头指示通向最小值的直接路径

1. 等高线的中心

说明归一化如何使代价函数等高线呈球形，从而让梯度下降更快、更直接地收敛。

1. 动画
   观察依据

   一条直线上的蓝色点代表正常数据；一个红色点出现在极右侧，标注为‘异常值！’；随后蓝色点被显示为挤压在左侧。

1. 蓝色点（正常数据）

2. 红色点（离群值）

3. 水平线

1. 红色点出现

2. 蓝色点被压缩聚集在一起

1. 数据点的相对顺序

演示单个极端离群值如何扭曲最小-最大归一化中的缩放范围，从而将正常数据点挤压到一个狭窄区间内。

1. 动画
   观察依据

   绘制一条紫色钟形曲线，中心位于零点，峰值处有一条竖直线，并标注“$σ = 1$”。

1. 钟形曲线

2. 纵轴

3. 横轴

4. 标记 $σ = 1$

1. 绘制曲线

2. 标出中心点

1. 钟形曲线的形状

可视化标准化后的目标分布，该分布均值为零、标准差为一。

1. 动画
   观察依据

   一条水平数轴动态呈现，标有从-5到5的刻度线，两端分别带有指向-∞和+$\infty$的箭头。

1. 数轴

2. 无穷大符号

3. 刻度线

1. 该直线在正负两个方向上无限延伸。

1. 中心点表示零。

该图示表明：标准化后的数值不像归一化后的数值那样被限制在某个特定的有限区间内。

1. 图示
   观察依据

   出现一张表格，从“范围”“对异常值的敏感性”和“最适用场景”三行对比归一化与标准化。

1. 表格标题行

2. 行标签

3. 单元格内容

1. 各行按顺序填充对比信息。

1. 结构始终保持为两列对比形式。

提供一份快速参考指南，对比两种缩放方法的数学性质及最佳适用场景。

1. 声音
   观察依据

   若不进行缩放，数值范围更大的特征可能在学习过程中占据主导地位，从而误导依赖距离度量的算法。

误以为具有不同量纲的原始数据可不经预处理直接输入基于距离的算法。

数值范围更大的特征将在距离计算中产生不成比例的影响，导致模型偏差和收敛速度变慢。

1. 声音
   观察依据

   讲解员明确指出，归一化可确保所有特征被同等对待，防止取值较大的特征在距离计算中产生不成比例的影响。

取值较大的特征总会在距离计算和模型训练中占据主导地位。

归一化将各特征缩放到相近的取值范围，确保它们对模型学习过程的贡献程度相同。

1. 声音
   观察依据

   讲解员说道：‘与归一化不同，标准化并不将数值限定在某个特定范围内。’

标准化会将数据限制在像 [0, 1] 这样的固定范围内。

标准化将数据以零为中心进行中心化，并以标准差为单位进行缩放，但不会对数值施加严格的上下界限制。

1. 声音
   观察依据

   讲解者指出，尽管标准化在应对离群值方面具有优势，但它无法将数据缩放到固定范围，这是其局限性。

误以为标准化会像归一化那样，将数据限制在某个特定的有限范围内。

标准化将数据变换为均值为0、方差为1的形式，但变换后的数值在正负方向上均可无限延伸。

1. 声音
   观察依据

   最常见的归一化形式是极差归一化（Min-Max 缩放）。

极差归一化是归一化这一通用概念下一种具体且常见的实现方式。

1. 声音
   观察依据

   归一化对于那些对特征值大小敏感的算法尤为有用。例如：K近邻算法……支持向量机……神经网络……

归一化（特指最小-最大缩放）作为预处理步骤应用于KNN、SVM和神经网络等算法，以提升性能。

1. 声音
   观察依据

   讲解者对比了二者，指出标准化相较于归一化的主要优势在于其对异常值的鲁棒性。

标准化与归一化在对异常值的鲁棒性方面形成对比，而归一化则对异常值高度敏感。

1. 声音
   观察依据

   讲解者指出：‘标准化的核心是Z分数变换。’

Z分数公式是实现标准化目标所采用的数学机制。

1. 声音
   观察依据

   讲解者对这两种技术进行了比较，指出它们以不同方式、针对不同场景解决特征缩放问题。

2. 图示
   观察依据

   汇总表格明确对比了二者在取值范围、对离群值的敏感性以及最佳适用场景方面的差异。

根据二者对离群值的处理方式、输出范围以及对不同机器学习算法的适用性，对归一化与标准化进行了对比。

1. 声音
   观察依据

   讲解员说明如何根据数据特征和算法需求来选择方法。

选择标准法将标准化（对异常值具有鲁棒性）和归一化（范围固定）的理论性质应用于数据预处理中的实际决策。

1. 声音
   观察依据

   归一化是一种缩放技术……

1. 归一化的定义

1. 公式
   观察依据

   X的归一化值等于X减去X的最小值，再除以X的最大值减去X的最小值。

1. 最小-最大缩放公式

1. 声音
   观察依据

   归一化对于那些对特征值大小敏感的算法尤为有用。

1. 归一化的定义
2. 最小-最大缩放公式

1. 声音
   观察依据

   讲解者讨论如何加快梯度下降法的收敛速度。

1. 归一化的好处

1. 声音
   观察依据

   讲解者解释最小-最大缩放在存在异常值时的缺陷。

1. 最小-最大归一化的缺点

1. 公式
   观察依据

   公式 $z = (X - μ) / σ$ 被展示出来。

1. Z分数变换公式

1. 声音
   观察依据

   讲解者列举了最适合采用标准化的算法。

1. 标准化的应用场景

1. 声音
   观察依据

   讲解员讨论标准化在处理异常值方面为何优于归一化。

1. 标准化对异常值的鲁棒性

1. 声音
   观察依据

   讲解员解释标准化输出范围无界这一局限性。

1. 标准化的局限性：无界区间

1. 声音
   观察依据

   讲解员列出在归一化与标准化之间进行选择的判断标准。

1. 选择特征缩放方法的判断标准