标准化与归一化—特征缩放

1. 公式
   观察依据

   笔记本在‘归一化（最小-最大归一化）’标题下显示公式$X_{norm} = \frac{X - X_{min}}{X_{max} - X_{min}}$。

X_{norm}

特征经最小-最大缩放后的归一化值。

区间[0, 1]内的实数。

1. 公式
   观察依据

   在所显示的最小-最大归一化公式中作为分子项$X$出现。

X

特征在缩放前的原始值。

实数。

1. 公式
   观察依据

   在所显示的最小-最大归一化公式中以$X_{min}$形式出现。

X_{min}

该特征在整个数据集中的最小值。

实数。

1. 公式
   观察依据

   在所显示的最小-最大归一化公式中以$X_{max}$形式出现。

X_{max}

该特征在整个数据集中的最大值。

实数。

1. 公式
   观察依据

   Python 代码单元格显示 `df=pd.read_csv(...)`，随后是 `df.head()`。

df

存储已加载葡萄酒数据集的 Pandas DataFrame 对象。

Pandas 数据框

1. 公式
   观察依据

   Python 代码单元格显示 `scaling=MinMaxScaler()` 和 `scaling.fit_transform(df[['Alcohol', 'Malic']])`。

scaling

来自 scikit-learn 的 MinMaxScaler 类的一个实例，用于执行归一化。

sklearn.preprocessing.MinMaxScaler 对象

1. 公式
   观察依据

   屏幕上显示的 Markdown 公式：X_norm = (X - X_min) / (X_max - X_min)。

$X_{\text{norm}}$

特征经最小-最大缩放后的归一化值。

实数值特征；当 X_max > X_min 时，输出被缩放到区间 [0, 1] 内。

1. 公式
   观察依据

   出现在屏幕上显示的最小-最大公式 X_norm = (X - X_min)/(X_max - X_min) 中。

2. 声音
   观察依据

   讲解标准化与缩放时，说话人将 x 称为特征数据。

X

正在被变换的原始特征值。

1. 公式
   观察依据

   在屏幕上显示的最小-最大公式中以 X_min 形式出现。

$X_{\min}$

该特征在整个数据集中的最小值。

1. 公式
   观察依据

   在屏幕上显示的最小-最大公式中以 X_max 形式出现。

$X_{\max}$

该特征在整个数据集中的最大值。

1. 公式
   观察依据

   屏幕上显示的 Markdown 公式：z = (x - mu)/sigma。

2. 声音
   观察依据

   说话人称这是标准化或 z 分数归一化的基础公式。

z

标准化特征值，也称为 z 分数。

1. 公式
   观察依据

   在显示的标准公式中以 $\mu$ 表示。

2. 声音
   观察依据

   讲解者明确指出 mu 代表均值。

$\mu$

特征分布的均值。

1. 声音
   观察依据

   主讲人将本主题介绍为“归一化与标准化的基本区别”，并指出这是特征缩放中的一个重要话题，而特征缩放属于特征工程的一部分。

在本片段中，特征缩放被呈现为一个特征工程步骤，安排在讨论何时应用归一化或标准化之前；主讲人围绕两个核心问题展开本课：一是理解为何需要特征缩放，二是厘清归一化与标准化的区别。

1. 该讨论置于监督机器学习与特征工程的背景下。

2. 此时间段内未展示任何数学公式。

1. 声音
   观察依据

   主讲人指出，在收集数据后会得到大量特征，其中包括自变量特征与因变量特征；在监督机器学习中，我们借助自变量特征来预测因变量特征。

本片段界定了特征缩放所适用的数据场景：所收集的数据包含多个特征，其中若干自变量特征用于在监督机器学习中预测一个因变量特征。

1. 适用于主讲人所描述的监督机器学习应用场景。

2. 未提供任何符号或等式。

1. 声音
   观察依据

   主讲人指出，特征具有两个重要属性：单位与量级。

2. 声音
   观察依据

   对于年龄，他说明其单位是从出生日期起算的年数。

3. 声音
   观察依据

   在“25年”这一例子中，他指出“年”是单位。

单位是附加在特征值上的计量约定。主讲人以‘年龄（以年为单位）’为例说明这一点；在短语“25年”中，“年”就是单位。

1. 通过口头举例引入，而非形式化符号表示。

2. 该例子涉及一个与人物相关的数据集，包含年龄、体重和身高。

1. 监督机器学习中的自变量特征与因变量特征

1. 声音
   观察依据

   主讲人指出，特征具有两个重要属性：单位和量值。

2. 声音
   观察依据

   他将量值解释为基本的数值。

3. 声音
   观察依据

   在“25年”这一例子中，他指出25是量值。

量值是与特征测量相关联的数值。在主讲人的例子“25年”中，量值是25，而单位是年。

1. 通过具体的数字例子进行口头讲解。

2. 未展示任何符号化表示。

1. 监督机器学习中的自变量特征与因变量特征

1. 声音
   观察依据

   主讲人指出，如果特征数量很多，它们必然使用不同的单位和量级进行计算。

2. 声音
   观察依据

   他以身高为例，说明其可能用英尺或英寸来计算。

3. 声音
   观察依据

   他得出结论：对机器学习算法而言，将所提供的数据缩放到某一统一尺度是非常必要的。

4. 声音
   观察依据

   他将归一化和标准化称为两种最常用的技术。

该片段指出，原始特征通常在单位和量级上存在差异，因此机器学习的输入数据应被转换到一个共同的尺度上。归一化和标准化被列为两种最常见的缩放技术。

1. 动机来源于那些包含多个特征的数据集，而这些特征的测量单位或量级各不相同。

2. 该片段尚未给出任一技术的具体公式或目标取值范围。

1. 特征的单位属性
2. 特征的量值属性

1. 声音
   观察依据

   主讲人开头说道：“现在，如果我给你一个归一化的简单定义，归一化能帮你缩放你的……”，但片段在此句结束前就中止了。

1. 归一化的完整定义在表述完成前就被截断了。

2. 本片段中实际并未给出任何公式、取值范围，也未与标准化进行对比说明。

本片段仅出现了归一化定义的开头部分。说话人刚开始说明归一化有助于将数据按比例缩小，但解释不完整，因为该片段在句子中途结束。

1. 该陈述不完整，不应视作完整的定义。

2. 未展示任何数学表达式。

1. 为何需要特征缩放

1. 声音
   观察依据

   主讲人说道：“归一化有助于将特征缩放到零到一之间。”

2. 公式
   观察依据

   笔记本文字显示：‘在此方法中，我们将把特征值缩放到 0 到 1 之间。’

归一化，特指最小-最大归一化，是一种特征缩放技术，它将某个特征的取值变换至指定范围内，通常为 0 到 1 之间。

1. 适用于数值型特征。

2. 需要计算该特征的最小值和最大值。

3. 假设$X_{max} \neq X_{min}$成立，以避免除零错误。

1. 声音
   观察依据

   讲解者说明：“标准化有助于您依据标准正态分布对特征进行缩放……均值通常为零，标准差通常为一。”

1. 本片段中未展示或陈述标准化的显式数学公式。

标准化是一种特征缩放技术，它将数据变换为具有标准正态分布特性的形式，即数据以均值0为中心，标准差为1。

1. 适用于数值型特征。

2. 依赖于近似正态分布这一假设或目标。

1. 公式
   观察依据

   代码单元格显示 `from sklearn.preprocessing import MinMaxScaler`、`scaling=MinMaxScaler()` 以及 `scaling.fit_transform(df[['Alcohol', 'Malic']])`。

2. 声音
   观察依据

   讲解者解释了如何创建 MinMaxScaler 对象，并调用 `fit_transform` 方法传入特定特征。

要在 Python 中使用 scikit-learn 实现最小-最大归一化，需导入 MinMaxScaler 类，实例化该类，然后对 DataFrame 中指定的特征子集调用 fit_transform 方法。

1. 需要 scikit-learn 库。

2. 输入数据必须为数值型。

1. 归一化（最小-最大缩放）的定义

1. 公式
   观察依据

   Markdown 标题“归一化（最小-最大归一化）”，其下文字为：“在此方法中，我们将特征值缩放到 0 至 1 的范围内。”

2. 公式
   观察依据

   显示的公式为 X_norm = (X - X_min)/(X_max - X_min)。

3. 声音
   观察依据

   说话人表示数值正被缩放到 0 至 1 的范围内。

视频将最小-最大归一化定义为一种特征缩放方法：通过减去该特征的最小值、再除以该特征的极差，将每个特征的取值映射到从0到1的区间内。

1. 按特征分别应用。

2. 要求该特征具有有限的最小值和最大值。

3. 输出被描述为介于0与1之间。

1. 公式
   观察依据

   Markdown标题“标准化（Z分数归一化）”，其下方文字说明：各特征被转换为服从标准正态分布，即均值（μ）=0、标准差（σ）=1。

2. 公式
   观察依据

   显示公式：z = (x - mu)/sigma。

3. 声音
   观察依据

   讲解者指出，标准化也称为Z分数归一化，并给出公式：x减去mu，再除以标准差。

视频将标准化定义为：利用Z分数公式，对每个特征进行变换，使其均值为0、标准差为1。

1. 按特征分别应用。

2. 使用该特征的均值和标准差。

3. 目标转换后的统计量为均值0和标准差1。

1. 图示
   观察依据

   输出[3]显示酒精（Alcohol）值大约在13.16到14.23之间，苹果酸（Malic）值大约在1.71到2.59之间。

2. 声音
   观察依据

   说话人指出这些数值之间存在巨大差异，且数量级相差悬殊，因此我们应尝试将它们缩放到同一量级上。

该片段通过展示不同列可能具有显著不同的数量级，来引出缩放的必要性：建模前需将原始数值调整至可比的量级。

1. 当特征具有不同单位或不同取值范围时，此操作最为相关。

2. 视频未明确说明哪些算法必须进行缩放。

1. 声音
   观察依据

   讲解者指出：“因此，这就是标准化与归一化之间的基本区别。”

归一化与标准化的根本区别在于它们的目标分布/范围：归一化将特征缩放到一个固定范围，例如0到1；而标准化则将特征缩放为服从标准正态分布（均值为0，标准差为1）。

1. 二者均为应用于数值型数据的特征缩放技术。

适用于所有可应用这些技术的数值型数据集。

1. 声音
   观察依据

   说话人说：这些值被缩放到0至1之间，此处出现的最大值为1，而最小值将介于0与1之间。

2. 图示
   观察依据

   Out[8] 显示了变换后的值，包括1和0.5，且未见超出 [0,1] 范围的值。

1. 口语中所说的“最小值将介于0与1之间”不如屏幕上显示的公式精确，后者表明每个特征的最小值均变为0。

应用最小-最大归一化后，变换后的特征值位于0与1之间，且该特征的最大值被映射为1。

1. 该特征具有明确定义的最小值和最大值。

2. 对该特征应用最小-最大变换。

对每个选定的特征列。

1. 公式
   观察依据

   Markdown 文本说明：特征将被变换，使其具有标准正态分布的性质，即均值（μ）=0，标准差（σ）=1。

2. 声音
   观察依据

   讲解者重申：无论对哪个特征进行变换，其均值都将变为0，标准差都将变为1。

1. 视频中提到“标准正态分布的性质”，但并未证明：对任意原始数据，变换后的分布恰好就是正态分布。

标准化对每个特征分别进行变换，使其均值为0、标准差为1。

1. 该特征具有确定的均值，且标准差不为零。

2. z 分数变换按特征逐个应用。

对每个选定的特征列。

1. 声音
   观察依据

   讲解者指出：我刚刚向您展示的公式，将被应用于每一个特征。

缩放公式被分别应用于每一列特征。

1. 存在多个特征列。

2. 每一列都被视为一个独立的特征。

对于所选集合中的每一个特征。

1. 声音
   观察依据

   “梯度下降本质上是指抛物线曲线，你需要在其中找到最优的最低点，即全局最小值点。”

1. 这是简化的口头描述；视频片段中并未说明凸性或可微性等假设。

主讲人将梯度下降描述为沿着类似抛物线的曲线搜索，以快速到达全局最小值，并指出缩放有助于更快地定位该点。

1. 优化问题被非正式地表述为需寻找一个极小值点。

2. 特征值可在优化前进行缩放。

主讲人对所讨论算法做出的非正式普适性断言。

1. 声音
   观察依据

   “根据我的经验……在我实际使用标准化的许多应用场景中……它的表现基本优于最小-最大缩放器。”

1. 这是一个基于轶事的经验性主张，并非视频片段中陈述的定理或经实验确立的结果。

主讲人声称，在他自己使用的许多应用场景中，标准化的表现优于最小-最大归一化。

1. 该比较基于主讲人的个人经验，而非视频片段中展示的受控研究。

该主张仅限于主讲人所遇到的“许多应用场景”。

1. 声音
   观察依据

   “在大多数使用卷积神经网络……以及人工神经网络的深度学习技术中，你基本上会采用最小-最大缩放法，因为需要将数值缩放到0至1之间。”

2. 声音
   观察依据

   “TensorFlow 和 Keras 等库确实接受0至1范围内的输入，这有助于它们更快地学习权重。”

1. 该片段未为该关于库行为的主张提供正式证明或文献引用。

说话者指出，人工神经网络/卷积神经网络的工作流程通常采用最小-最大缩放，将输入置于[0,1]区间内，而这有助于网络更快地学习权重。

1. 输入是数值型特征或图像像素值。

2. 该模型是使用基于梯度的优化方法训练的人工神经网络或卷积神经网络。

按说话者的表述，这一说法宽泛地适用于‘大多数深度学习技术’。

1. 公式
   观察依据

   显示的公式为 X_norm = (X - X_min)/(X_max - X_min)。

2. 图示
   观察依据

   Out[8] 显示了变换后的值，包括 1 和 0.5，且均落在 [0,1] 区间内。

1. 公式

   $$X_{\text{norm}} = \frac{X - X_{\min}}{X_{\max} - X_{\min}}$$
   解释

   从显示的最小-最大公式出发。

   步骤依据

   笔记本中展示的公式。

   视频直接表达
2. 公式

   $$X = X_{\min} \Rightarrow X_{\text{norm}} = 0$$
   解释

   将特征的最小值代入公式，会使分子为零。

   步骤依据

   直接代入该公式。

   依据视频推导
3. 公式

   $$X = X_{\max} \Rightarrow X_{\text{norm}} = 1$$
   解释

   将特征的最大值代入公式，会使分子与分母相等。

   步骤依据

   直接代入该公式。

   依据视频推导
4. 公式

   $$X_{\min} \le X \le X_{\max} \Rightarrow 0 \le X_{\text{norm}} \le 1$$
   解释

   对于介于最小值与最大值之间的任意数值，其比值始终介于0与1之间。

   步骤依据

   除以正数区间时的单调性。

   依据视频推导

最小-最大变换将特征取值范围 [X_min, X_max] 映射到 [0,1]。

1. 公式
   观察依据

   显示公式：z = (x - mu)/sigma。

2. 声音
   观察依据

   讲解者说明：x 减 mu 表示特征数据减去均值，再除以标准差。

1. 公式

   $$z = \frac{x - \mu}{\sigma}$$
   解释

   从屏幕上显示的标准化公式出发。

   步骤依据

   笔记本中展示的公式。

   视频直接表达
2. 公式

   $$x - \mu$$
   解释

   减去均值可使特征分布以0为中心。

   步骤依据

   均值中心化的定义。

   依据视频推导
3. 公式

   $$\frac{x - \mu}{\sigma}$$
   解释

   除以标准差可重新缩放数据的离散程度，使得新的标准差为1。

   步骤依据

   按常数因子缩放的标准性质。

   依据视频推导

z分数变换首先将数据以0为中心进行平移，然后将其缩放为单位标准差。

1. 声音
   观察依据

   说话者从欧氏距离和梯度下降出发，进而举例说明了K近邻（KNN）、K均值（K-means）、线性回归、逻辑回归、人工神经网络（ANN）以及卷积神经网络（CNN）等算法。

1. 其推理方式是口头化且直观的，而非形式化的。

1. 公式

   $$$$
   解释

   识别那些行为依赖于特征量级（尤其是距离计算）的模型族。

   步骤依据

   说话人直接指出：算法“涉及欧氏距离。”

   视频直接表达
2. 公式

   $$$$
   解释

   识别通过迭代优化趋近最小值所训练的模型族。

   步骤依据

   说话人直接指出：深度学习技术“基本都涉及梯度下降。”

   视频直接表达
3. 公式

   $$$$
   解释

   论证缩放有助于更快地到达最小值。

   步骤依据

   说话人用直观解释将缩放后的数值与更快找到最小值点联系起来。

   视频直接表达
4. 公式

   $$$$
   解释

   列举需要缩放的具体例子：K近邻（KNN）、K均值聚类、线性回归、逻辑回归、人工神经网络（ANN）、卷积神经网络（CNN）。

   步骤依据

   在音频中被明确提及。

   视频直接表达

特征缩放被呈现为距离型学习器和梯度型学习器所必需，但对树型学习器则非必需。

1. 声音
   观察依据

   “因为归根结底你只是在构建一棵决策树……决策树本质上是依据特征进行划分的。”

1. 该片段仅给出高层次的理由，而非形式化的不变性证明。

1. 公式

   $$$$
   解释

   指出决策树方法使用特征条件对数据进行划分。

   步骤依据

   音频中直接陈述。

   视频直接表达
2. 公式

   $$$$
   解释

   注意，在此类条件下，将某个特征从较大值改为较小值，并不会显著改变其分支逻辑。

   步骤依据

   主讲人的非正式解释：“如果你保持该值较高，或者保持该值较小，影响都不会太大。”

   视频直接表达
3. 公式

   $$$$
   解释

   将同样的推理延伸至随机森林、XGBoost、袋装法（bagging）以及基于决策树的提升法（boosting）。

   步骤依据

   主讲人明确将这些方法与决策树类方法归为一组。

   视频直接表达

根据讲座内容，基于树的模型无需特征缩放，因为它们的分裂依据是条件判断，而非对数值大小敏感。

1. 声音
   观察依据

   说话人表示他收集了关于某个人的数据，例如年龄、体重和身高。

2. 声音
   观察依据

   他以“25年”为例，解释说25是量值，而“年”是单位。

用年龄作为例子，说明单个特征值如何分解为量值和单位。

1. 一个人相关的数据集包含年龄、体重和身高这类特征。

2. 一个观测到的年龄值被表述为25年。

指出“25年”中哪一部分是量值，哪一部分是单位。

1. 公式

   $$$$
   解释

   说话人从一个人相关的数据集中选取年龄作为具体特征。

   步骤依据

   音频中直接陈述。

   视频直接表达
2. 公式

   $$$$
   解释

   他将年龄的单位定义为从出生日期起算的年数。

   步骤依据

   音频中直接陈述。

   视频直接表达
3. 公式

   $$$$
   解释

   对于“25年”这一数值，他将数字部分25与计量单位“年”分离开来。

   步骤依据

   音频中直接陈述。

   视频直接表达
4. 公式

   $$$$
   解释

   他将25标记为量值，“年”标记为单位。

   步骤依据

   音频中直接陈述。

   视频直接表达

在“25年”中，量值是25，单位是“年”。

该示例与说话人对短语进行的明确口头分解（即分解为数值与单位）完全一致。

1. 声音
   观察依据

   说话人指出，若存在多个特征，则它们可能使用不同的单位和量值进行计算。

2. 声音
   观察依据

   他以身高为例，说明其可用英尺或英寸来计量。

说明为何同一数据集中的不同特征可能不具有相同的单位或量值。

1. 一个数据集包含多个特征。

2. 身高就是这样一个特征。

说明即使在同一数据集中，特征的单位也可能各不相同。

1. 公式

   $$$$
   解释

   主讲人从年龄这一例子推广到具有多个特征的数据集。

   步骤依据

   音频中直接陈述。

   视频直接表达
2. 公式

   $$$$
   解释

   他指出，这些特征将使用不同的单位和量级进行计算。

   步骤依据

   音频中直接陈述。

   视频直接表达
3. 公式

   $$$$
   解释

   他以身高作为具体例子，说明其可能以英尺或英寸为单位进行测量。

   步骤依据

   音频中直接陈述。

   视频直接表达
4. 公式

   $$$$
   解释

   这支持了如下论断：原始特征的尺度在不同变量之间并非天然对齐。

   步骤依据

   由主讲人的例子及其结论推导得出。

   依据视频推导

身高可用英尺或英寸表示，说明不同特征可能带有不同的单位和量级。

该示例与主讲人所陈述的“在机器学习前对数据进行缩放”这一动机一致。

1. 公式
   观察依据

   代码：`df=pd.read_csv('https://raw.githubusercontent.com/rasbt/pattern_classification/master/data/wine_data.csv', header=None, usecols=[0,1,2])`，随后进行列重命名，并执行 `df.head()`，输出显示列为 Class、Alcohol、Malic。

2. 声音
   观察依据

   讲解者描述了读取 CSV 文件、选取三列、重命名列名以及查看前五条记录的过程。

加载葡萄酒数据集的一个子集，并检查其初始结构。

1. wine_data.csv 的 URL 地址

2. 选取前三个列（索引分别为0、1、2）

3. 将列重命名为“Class”、“Alcohol”、“Malic”。

显示处理后的DataFrame的前五行。

1. 公式

   $$df=pd.read_csv('...', header=None, usecols=[0,1,2])$$
   解释

   读取无表头的CSV文件，并仅选取前三列。

   步骤依据

   Pandas read_csv函数的用法。

   视频直接表达
2. 公式

   $$df.columns=['Class','Alcohol','Malic']$$
   解释

   为所选列指定新的列名。

   步骤依据

   直接赋值给DataFrame的columns属性。

   视频直接表达
3. 公式

   $$df.head()$$
   解释

   显示DataFrame的前五行。

   步骤依据

   Pandas head方法的默认行为。

   视频直接表达

一个表格，共显示5行，列名为Class、Alcohol和Malic，包含原始数值数据。

对Out[3]单元格输出结果进行目视检查，与所述步骤一致。

1. 公式
   观察依据

   代码：`from sklearn.preprocessing import MinMaxScaler`，`scaling=MinMaxScaler()`，`scaling.fit_transform(df[['Alcohol', 'Malic']])`。输出为介于0与1之间的浮点数数组。

2. 声音
   观察依据

   讲解者说明如何导入MinMaxScaler、创建其实例，并对“Alcohol”和“Malic”两列应用fit_transform方法。

1. 完整输出数组在视图中被截断；仅显示开头部分。

将葡萄酒数据集中的“Alcohol”和“Malic”特征归一化到区间0、1。

1. 包含“Alcohol”和“Malic”列的DataFrame df

2. 来自sklearn.preprocessing的MinMaxScaler

使用最小-最大缩放法变换指定特征。

1. 公式from sklearn.preprocessing import MinMaxScaler
   解释

   从库中导入必要的类。

   步骤依据

   标准Python导入语法。

   视频直接表达
2. 公式

   $$scaling=MinMaxScaler()$$
   解释

   实例化缩放器对象。

   步骤依据

   scikit-learn估计器所采用的面向对象编程模式。

   视频直接表达
3. 公式

   $$scaling.fit_transform(df[['Alcohol', 'Malic']])$$
   解释

   一步完成缩放器的拟合与变换。

   步骤依据

   一种便捷方法，将拟合（学习最小值与最大值）和变换（应用公式）结合在一起。

   视频直接表达

一组归一化后的数值，其中原始最小值映射为0，原始最大值映射为1。

输出值被观察到处于[0, 1]范围内，这与最小-最大归一化的定义一致。

1. 图示
   观察依据

   输出[3]显示前五行，列名为Class、Alcohol和Malic。

2. 公式
   观察依据

   代码单元格In[8]：scaling.fit_transform(df[['Alcohol','Malic']])。

3. 图示
   观察依据

   输出[8]显示数组值，例如[0.84210526, 0.1916996]、[0.5710263, 0.2055336]，并包含1和0.5。

1. 仅前几行变换后的数据清晰可读；完整数据集的尺寸不可见。

使用最小-最大归一化方法，对所展示的葡萄酒数据集中选定的数值特征“Alcohol”和“Malic”进行缩放。

1. 输出[3]显示若干样本行，其中Alcohol值约为13.16至14.23，Malic值约为1.71至2.59。

2. 代码从sklearn.preprocessing导入MinMaxScaler。

3. 选定的列为['Alcohol','Malic']。

将变换后的特征值统一映射到0至1的尺度上。

1. 公式

   $$\texttt{from sklearn.preprocessing import MinMaxScaler}$$
   解释

   导入最小-最大缩放器类。

   步骤依据

   显示在代码单元格 In[4] 中。

   视频直接表达
2. 公式

   $$\texttt{scaling = MinMaxScaler()}$$
   解释

   创建一个缩放器对象。

   步骤依据

   显示在代码单元格 In[5] 中。

   视频直接表达
3. 解释

   对缩放器进行拟合并转换所选列。

   步骤依据

   显示在代码单元格 In[8] 中。

   视频直接表达
4. 公式

   $$\text{Example outputs include } [0.84210526, 0.1916996], [0.5710263, 0.2055336], [1., 0.17786561]$$
   解释

   显示的输出数组包含介于 0 到 1 范围内的值，其中最大值为 1。

   步骤依据

   可见于 Out[8]。

   视频直接表达

所选特征被转换为介于 0 和 1 之间的值，且该特征的最大值映射为 1。

对 Out[8] 的可视化检查显示，变换后的条目均落在 [0,1] 区间内，并包含数值 1，符合所述的最小-最大变换行为。

1. 公式
   观察依据

   代码单元格 In[9]：from sklearn.preprocessing import StandardScaler。

2. 公式
   观察依据

   代码单元格 In[10]：scaling=StandardScaler()。

3. 公式
   观察依据

   代码单元格 In[11]：scaling.fit_transform(df[['Alcohol','Malic']])。

4. 图示
   观察依据

   Out[11]显示了诸如[1.51861254, -0.5622498]、[-0.2468963, -0.49941338]以及负值如-1.25345042等数值。

1. 变换后输出的精确经验均值与标准差未在屏幕上进行数值验证。

使用标准化（z分数标准化）对同样选定的特征“Alcohol”和“Malic”进行缩放。

1. 选取相同的DataFrame列['Alcohol','Malic']。

2. 代码从sklearn.preprocessing导入StandardScaler。

3. 屏幕上显示的公式为z = (x - mu)/sigma。

对特征进行变换，使每个特征的均值为0、标准差为1。

1. 公式

   $$\texttt{from sklearn.preprocessing import StandardScaler}$$
   解释

   导入标准缩放器类。

   步骤依据

   显示在代码单元In[9]中。

   视频直接表达
2. 公式

   $$\texttt{scaling = StandardScaler()}$$
   解释

   创建一个缩放器对象。

   步骤依据

   显示在代码单元In[10]中。

   视频直接表达
3. 解释

   拟合缩放器并对所选列进行变换。

   步骤依据

   显示在代码单元格 In[11] 中。

   视频直接表达
4. 公式

   $$\text{Example outputs include } [1.51861254, -0.5622498], [-0.2468963, -0.49941338], [-1.25345042, ...]$$
   解释

   变换后的数值包含正数和负数，与 0 到 1 的最小-最大缩放输出不同。

   步骤依据

   可见于 Out[11]。

   视频直接表达

所选特征被变换为以 0 为中心的 z 分数，输出中同时出现正数和负数。

标准化后出现负值，且所展示的公式 z=(x-mu)/sigma，均符合均值中心化与单位方差缩放的特点。

1. 公式
   观察依据

   可见代码：`from sklearn.preprocessing import MinMaxScaler`；`scaling = MinMaxScaler()`；`scaling.fit_transform(df[['Alcohol', 'Malic']])`。

2. 公式
   观察依据

   可见输出以`array([[0.84210526, 0.1916996 ], [0.57105263, 0.2055336 ], ... [1., 0.17786561], ...])`开头。

1. 本片段中未显示原始未变换的列值，因此仅凭所展示的输出无法验证缩放器实际使用的最小值和最大值。

在 scikit-learn 中对 DataFrame 的两列应用最小-最大缩放，并检查变换后的输出。

1. 存在一个 DataFrame `df`。

2. 选中的两列是“Alcohol”和“Malic”。

3. 从`sklearn.preprocessing`中导入`MinMaxScaler`。

为选中的列生成缩放后的数值。

1. 公式from sklearn.preprocessing import MinMaxScaler
   解释

   导入最小-最大缩放类。

   步骤依据

   直接显示在笔记本单元格中。

   视频直接表达
2. 公式

   $$scaling = MinMaxScaler()$$
   解释

   实例化缩放器对象。

   步骤依据

   直接显示在笔记本单元格中。

   视频直接表达
3. 公式

   $$scaling.fit_transform(df[['Alcohol', 'Malic']])$$
   解释

   在一次调用中，对选中的列进行拟合并完成变换。

   步骤依据

   直接显示在笔记本单元格中。

   视频直接表达
4. 公式

   $$array([[0.84210526, 0.1916996 ], [0.57105263, 0.2055336 ], ..., [1., 0.17786561], ...])$$
   解释

   将显示的变换后数组视为缩放步骤的输出。

   步骤依据

   可见于笔记本输出中。

   视频直接表达

选中的列被变换为一个数值数组，其可见元素大致位于0到1之间。

对输出数组的视觉检查显示，其数值如0.84210526、0.1916996和1.0所示，这与说话人后续所言“最小-最大缩放将数值映射到区间0、1内”一致。

1. 图示
   观察依据

   整个片段展示了一位身穿亮粉色Polo衫的男士，正面对镜头讲话，背景是一面素净的浅色墙壁，右侧可见一块白板。

2. 动画
   观察依据

   他在讲解概念时反复使用双手做手势；屏幕上未出现任何公式、图表、幻灯片或手写的等式。

1. 主讲人身穿亮粉色Polo衫

2. 素净的浅色墙壁

3. 右侧有一块白板

4. 手势

1. 主讲人在讲话过程中不断变换手部位置和面部表情。

2. 屏幕上没有数学内容发生变化，因为根本未显示任何数学内容。

1. 镜头始终保持中景构图。

2. 片段中未展示任何公式、图表、表格或代码。

数学内容完全通过口语和手势传达，而非借助视觉符号或图表。

1. 动画
   观察依据

   屏幕录制画面向下滚动，依次展示 Jupyter Notebook 界面中的 Markdown 文本、公式、代码单元格以及输出表格/数组。

1. Markdown 标题

2. LaTeX 公式

3. Python 代码单元格

4. DataFrame 输出表格

5. NumPy 数组输出

1. 滚动位置向下移动

2. 笔记本的不同部分随之显现

1. 滚动过程中笔记本的内容保持静止

展示了在计算环境中将理论讲解与实际代码实现并行呈现的工作流程。

1. 图示
   观察依据

   笔记本中显示 Out[3] 表格，列名为 Class、Alcohol、Malic，并展示前五行。

2. 声音
   观察依据

   讲解者指出，酒精含量（Alcohol）与苹果酸含量（Malic）依据不同单位和量级记录，并强调二者差异巨大。

1. DataFrame 输出[3]

2. 列名：Class、Alcohol、Malic

3. 数值行号为 0 至 4

1. 鼠标高亮显示不同行，同时讲解者说明各数值量级存在差异。

1. 在此区间内，原始数值保持不变。

2. 仅讨论了两个数值型特征列的缩放处理。

该表格通过视觉方式表明所选特征具有不同的数值范围，从而引出特征缩放的必要性。

1. 图示
   观察依据

   代码单元格 In[8] 调用 scaling.fit_transform(df[['Alcohol','Malic']])，Out[8] 显示一长串小数值。

2. 声音
   观察依据

   讲解者指出所有数值均被缩放到 0 至 1 之间，并特别指出最大值为 1。

1. 由于用户滚动页面，输出数组并非所有行都能同时可见。

1. Out[8] 数组输出

2. 诸如 0.84210526、0.1916996、1、0.5 等数值

1. 滚动输出区域以显示更多经变换的行。

2. 像 1 和 0.5 这样的具体数值变得可见。

1. 所有可见的变换后数值均保持在0与1之间。

2. 该变换被应用于所选的两个特征列。

可视化输出展示了最小-最大归一化对所选特征的影响。

1. 图示
   观察依据

   出现标题为“归一化（最小-最大归一化）”的Markdown章节，其中包含说明性语句和公式。

1. 标题“归一化（最小-最大归一化）”

2. 关于将数值缩放到0至1范围内的句子

3. 公式 X_norm = (X - X_min)/(X_max - X_min)

1. 笔记本视图向上移动，以展示Markdown说明内容。

1. 公式保持静止，同时讲解者对其展开说明。

本片段提供了此前展示的MinMaxScaler输出背后的严格数学定义。

1. 图示
   观察依据

   出现标题为“标准化（Z分数归一化）”的Markdown章节，其中包含关于均值（mu）=0和标准差（sigma）=1的文字说明，以及公式 z = (x - mu)/sigma。

1. 标题“标准化（Z 分数标准化）”

2. 关于标准正态分布性质的说明性句子

3. 公式 z = (x - mu)/sigma

1. 笔记本视图切换至标准化部分。

1. 公式与目标统计量在讲解过程中保持固定。

本片段在代码演示之前介绍 Z 分数标准化的数学规则。

1. 图示
   观察依据

   代码单元格 In[9]-In[11] 与输出 Out[11] 展示了 StandardScaler 的使用及包含负数的变换后数组值。

1. 数据集的完整范围不可见。

1. Out[11] 数组输出

2. 诸如 1.51861254、-0.5622498、-1.25345042 这样的数值

1. 输出区域已滚动，显示出许多标准化的行。

1. 所选列保持为['Alcohol','Malic']。

2. 该变换基于所显示的z分数公式。

输出通过同时呈现正负居中数值，在视觉上与最小-最大缩放形成对比。

1. 动画
   观察依据

   一条蓝色钟形曲线绘制在笔记本输出区域上方。

2. 声音
   观察依据

   说话人称：若数据被转换为标准正态分布，则会如此转换为钟形曲线，此处均值为0，向右每经过一个标准差依次为1、2、3。

1. 该图示为示意图，并非该数据集的实际直方图。

1. 蓝色钟形曲线

2. 隐含的横轴

3. 口述标注0、1、2、3

1. 在笔记本上徒手勾勒出一条曲线。

2. 主讲人口头标出中心为0，并向右依次标出1、2、3。

1. 该示意图仅为示意性展示，并非通过计算绘制的图像。

2. 所期望的不变性质是：以0为中心，以标准差为单位间距进行标准化。

该图示直观呈现了一个标准化变量：它是一个以0为中心的对称分布，横轴上以标准差为单位进行标记。

1. 图示
   观察依据

   Jupyter Notebook 界面占据整个屏幕，显示若干代码单元格及一个输出数组。

2. 公式
   观察依据

   在此时间段内，代码与输出均保持静止。

1. Jupyter Notebook 窗口

2. 代码单元格

3. 输出数组

4. 鼠标光标

1. 在可见的时间段内，未发生滚动或代码执行操作。

1. 相同的三行代码及输出数组的开头部分持续显示在屏幕上。

该画面确立了最小-最大归一化的实际应用背景，随后讲座转入概念性讨论。

1. 动画
   观察依据

   说话人在讲话过程中反复抬起双手、指向屏幕、张开手掌，并做出小幅捏合动作。

2. 图示
   观察依据

   大约在00:00:33，他在讲解梯度下降与极小值时，于空中划出一条曲线运动。

1. 男性主讲人

2. 白墙

3. 白板边缘

4. 手势

1. 镜头在00:00:15处从笔记本切至主讲人。

2. 当对比不同算法并解释缩放选择时，手势动作更加明显。

1. 在纯口述段落中，屏幕上未绘制任何公式、图表或示意图。

这些手势仅起强调作用；数学内容由口语传达，而非屏幕上的符号表示。

1. 图示
   观察依据

   整个视频片段显示一名男子站在素色墙面背景前，直视镜头讲话，并辅以手势；画面中未出现任何公式、图表、表格或代码。

1. 单人主讲

2. 素色墙面背景

3. 手势表达

1. 讲话者在整个片段中持续讲话并配合手势。

1. 屏幕上未出现任何数学符号。

2. 本片段中未展示任何代码窗口或示例输出。

画面内容服务于口头总结与建议环节，而非具体的数学推演演示。

1. 声音
   观察依据

   主讲人指出，并非每种算法都必须进行特征缩放；本视频将探讨在何种情况下应优先选择归一化或标准化，以及哪些算法适合采用特征缩放。

1. 该片段提出了这一区分，但尚未提供按算法逐一展开的具体指导。

人们或许会认为，每一种机器学习算法都需要特征缩放。

主讲人明确提醒，特征缩放并非对每种算法都必不可少；不过本片段仅预告后续讨论，尚未给出具体情形的详细说明。

1. 图示
   观察依据

   Out[8]中的最小-最大缩放输出始终位于区间[0,1]内，而Out[11]中的标准化输出则包含负值。

2. 声音
   观察依据

   主讲人区分了从0到1的最小-最大缩放与均值为0、标准差为1的标准化。

人们可能误以为所有特征缩放方法都会将数值强制映射到同一固定区间内。

该片段展示了两种不同规则：最小-最大归一化将每个特征映射至区间[0,1]，而标准化则重新定心并重缩放，使其均值为0、标准差为1，从而允许出现负值。

1. 公式
   观察依据

   Markdown 文本指出，变换后的特征将具有标准正态分布的性质，即均值（μ）=0，标准差（σ）=1。

2. 声音
   观察依据

   主讲人重复了‘标准正态’这一表述，随后画出了钟形曲线。

1. 此澄清由分析者补充；视频本身并未讨论非正态输入分布。

标准化并不能使任意特征都服从正态分布。

编者注：该公式可确保均值为0、标准差为1，但无法将任意分布精确变换为正态分布。视频中绘制的钟形曲线仅为示意图。

1. 声音
   观察依据

   主讲人明确对比了基于树的模型与基于距离和基于梯度的模型，并指出前者无需特征缩放。

人们可能会认为，在训练任何模型之前，特征缩放都是必需的。

讲座指出，决策树、随机森林、XGBoost 以及相关的装袋法/提升法等方法无需缩放，因为它们的分裂依据是特征条件，而非特征值的绝对大小。

1. 声音
   观察依据

   “现在可并不是说最小-最大缩放器不好，因而不该使用。”

在听说标准化对主讲人而言往往效果更好之后，人们可能就会得出结论：应避免使用最小-最大缩放。

主讲人随即补充道，最小-最大缩放在许多深度学习场景中依然适用，尤其是当输入需被限定在0与1之间时。

1. 声音
   观察依据

   讲话者明确表示，‘标准化效果良好’这一主张‘完全基于我的个人经验’。

听众可能将‘标准化效果良好’理解为一条适用于所有机器学习模型与数据集的一般性数学事实。

该片段将这一观点呈现为说话人在多种场景下的经验性观察，而非基于明确假设或反例分析的已证明结论。

1. 声音
   观察依据

   主讲人指出，归一化与标准化是特征缩放中的重要主题，而特征缩放本身又是特征工程中不可或缺的一部分。

该片段将归一化与标准化置于特征缩放及特征工程这一更宽泛的工作流程之中。

1. 声音
   观察依据

   在定义监督学习数据集中的自变量特征与因变量特征之后，主讲人指出，这些特征具有两个重要属性：单位与量级。

关于数据集特征的讨论，自然引出用于论证缩放必要性的两个属性。

1. 声音
   观察依据

   主讲人指出，由于许多特征具有不同的单位与量级，因此有必要对数据进行缩放，以适配机器学习算法。

量级各异这一属性被用作实施特征缩放的理由。

1. 声音
   观察依据

   主讲人使用英尺和英寸等不同单位来表示身高，以此说明需将数据缩放至统一尺度。

不同单位这一特性也被用作实施特征缩放的理由。

1. 声音
   观察依据

   主讲人在指出归一化与标准化是两种常用技术后，开始定义归一化。

1. 该定义不完整，因为视频片段在句子中途结束。

归一化被介绍为实现前述动机所驱动的特征缩放的两种常用方法之一。

1. 声音
   观察依据

   主讲人明确对比了刚刚给出的两种定义。

归一化的目标是将数据缩放到固定区间0到1，而标准化的目标是将数据变换为均值为0、方差为1的分布。

1. 公式
   观察依据

   数学公式在实现它的代码之前立即呈现。

scikit-learn 中的 MinMaxScaler 类是数学上最小-最大归一化公式的软件实现。

1. 声音
   观察依据

   主讲人首先指出各特征在量级上存在巨大差异，随后提出应将其缩放到同一量纲范围，并引出 MinMaxScaler。

2. 图示
   观察依据

   原始表格输出 Out[3] 出现在 MinMaxScaler 代码及其输出 Out[8] 之前。

观测到的特征量级差异促使我们采用最小-最大归一化。

1. 声音
   观察依据

   在讨论完量级差异后，主讲人转向标准化——另一种特征变换方式。

2. 图示
   观察依据

   笔记本内容从原始数据出发，依次呈现标准化公式及 StandardScaler 代码。

将特征置于可比量纲下的相同动机，引出了标准化方法的介绍。

1. 公式
   观察依据

   两个 Markdown 小节分别展示了两种公式：X_norm = (X - X_min)/(X_max - X_min) 和 z = (x - mu)/sigma。

2. 图示
   观察依据

   Out[8] 显示的是区间 [0,1] 内的数值；Out[11] 显示的是正负 z 分数。

该片段直接对比了有界范围的最小-最大缩放与以均值为中心、以方差为基准的标准化。

1. 公式
   观察依据

   MinMaxScaler 的代码与最小-最大 Markdown 公式并列显示。

该数学定义通过 MinMaxScaler.fit_transform 在笔记本中实现。

1. 公式
   观察依据

   StandardScaler 的代码与 z 分数 Markdown 公式并列显示。

z 分数的定义通过 StandardScaler.fit_transform 在笔记本中实现。

1. 声音
   观察依据

   主讲人解释道：不同特征具有不同的单位和量级，因此在机器学习中应进行缩放。

1. 特征的单位属性
2. 特征的量值属性
3. 为何需要特征缩放

1. 声音
   观察依据

   主讲人将量级界定为数值本身，而将单位界定为度量约定，并以“25年”为例。

1. 特征的单位属性
2. 特征的量值属性
3. 用年龄举例区分量值与单位

1. 声音
   观察依据

   主讲人指出，归一化与标准化是用于数据缩放的两种最常用技术。

1. 为何需要特征缩放

1. 声音
   观察依据

   主讲人指出，并非每个算法都必须进行特征缩放。

1. 该片段未说明哪些算法需要或不需要缩放。

1. 特征缩放并非对每种算法都普遍必需。

1. 声音
   观察依据

   主讲人开始定义归一化，但句子在完成前被截断。

1. 该片段中缺少完整定义。

1. 归一化的初步定义

1. 声音
   观察依据

   主讲人给出的初始定义。

1. 归一化（最小-最大缩放）的定义

1. 声音
   观察依据

   主讲人同时定义了二者，并指出它们的区别。

1. 归一化（最小-最大缩放）的定义
2. 标准化的定义
3. 归一化与标准化的区别

1. 公式
   观察依据

   公式在笔记本中清晰展示。

1. 归一化（最小-最大缩放）的定义

1. 公式
   观察依据

   代码单元格演示了其用法。

1. 在 Scikit-Learn 中使用 MinMaxScaler

1. 公式
   观察依据

   Markdown 小节明确定义了最小-最大归一化，并展示了其公式。

1. 最小-最大归一化定义
2. 最小-最大归一化将数值映射到 [0,1] 区间内。
3. 为什么最小-最大归一化的输出落在 [0,1] 区间内

1. 图示
   观察依据

   原始表格显示酒精（Alcohol）和苹果酸（Malic）的数值量级差异显著。

2. 声音
   观察依据

   说话人指出，二者存在巨大差异，因此应将其缩放到同一量纲范围内。

1. 为何要进行特征缩放

1. 公式
   观察依据

   代码单元格展示了导入 MinMaxScaler 并使用 fit_transform 的方法。

1. 在 scikit-learn 中使用 MinMaxScaler。
2. 葡萄酒数据集的最小-最大缩放示例