如何处理数据科学中的异常值 | 对机器学习建模至关重要

1. 声音
   观察依据

   主讲人提到“四分位距（IQR）法”，并在边界公式中使用了 IQR。

2. 字幕依据
   观察依据

   屏幕上的项目符号显示：“常见的统计方法包括标准分数（Z 分数）、IQR 法和格拉布斯检验（Grubbs' test）等。”

IQR

四分位距，即第一四分位数 Q1与第三四分位数 Q3之间的离散程度。

一个非负的数值摘要，用于描述数据集中间 50% 数据的离散程度。

1. 声音
   观察依据

   主讲人指出，异常值落在“Q1 - 1.5 * IQR”之下。

Q1

第一四分位数，即 IQR 异常值判定规则中使用的下四分位边界。

数据分布的一个数值分位数。

1. 声音
   观察依据

   主讲人指出，异常值落在“$Q3 + 1.5$ * IQR”之上。

Q3

第三四分位数，即 IQR 异常值判定规则中使用的上四分位边界。

数据分布的一个数值分位数。

1. 声音
   观察依据

   主讲人表示，距离均值超过三个标准差的观测值通常被视为异常值。

2. 声音
   观察依据

   随后主讲人还指出，格拉布斯检验基于距均值的最大偏差。

mean

观测值的算术平均数，用作Z分数和格拉布斯检验描述中的中心位置。

数据集的一种数值型位置度量。

1. 声音
   观察依据

   主讲人在描述Z分数时说：“超过均值三个标准差”。

standard deviation

衡量围绕均值的离散程度；此处它定义了Z分数法则的阈值尺度。

一种非负的数值型离散度度量。

1. 声音
   观察依据

   主讲人：“异常值是指一个观测值，其偏离其他观测值的程度之大，足以令人怀疑它是由不同机制生成的。”

2. 字幕依据
   观察依据

   幻灯片文字在“异常值检测与处理：”下方显示为：“异常值检测与处理是指识别并处理数据集中显著偏离其余观测值的数据点。”

视频将异常值定义为一个观测值，其与数据其余部分的差异如此之大，以至于它可能源自不同的生成机制。随后，视频将异常值检测与处理框定为在数据预处理阶段识别并处理此类数据点。

1. 适用于数据集中的观测值。

2. 用于统计学与数据分析的预处理阶段。

1. 声音
   观察依据

   主讲人：“统计检验方法，如Z分数，通常将超过均值三个标准差的观测值视为异常值。”

2. 字幕依据
   观察依据

   屏幕要点：“常见的统计方法包括Z分数法、四分位距（IQR）法和格拉布斯检验等。”

视频将Z分数介绍为一种用于识别异常值的统计方法。所提出的实用规则是：距离均值超过三个标准差的观测值通常被视为异常值。

1. 使用样本或总体的均值与标准差。

2. 视频将该规则表述为一种常见准则，而非普适定理。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“四分位距（IQR）法通过标记落在Q1 - 1.5 * IQR以下或$Q3 + 1.5$ * IQR以上的数据点来识别异常值。”

2. 字幕依据
   观察依据

   屏幕要点将“四分位距（IQR）法”列为常见统计方法之一。

四分位距法将位于由第一和第三四分位数向外延伸1.5倍IQR所确定区间之外的观测值标记为异常值。低于下界或高于上界的数值被识别为异常值。

1. 需要四分位数Q1和Q3以及四分位距IQR。

2. 适用于有序的数值型数据。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“格拉布斯检验每次仅检测一个异常值，依据是该值与均值的最大偏差。”

2. 字幕依据
   观察依据

   屏幕上的项目符号列出了“格拉布斯检验”等常见统计方法。

视频将格拉布斯检验描述为一种每次仅检测一个异常值的方法，其原理是聚焦于与均值偏差最大的那个观测值。

1. 每次仅检测一个异常值。

2. 基于与均值的偏差。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“箱线图可展示数据的离散程度，并识别出远离其余数值的值。”

2. 声音
   观察依据

   主讲人：“异常值通常是须线之外的点。”

3. 字幕依据
   观察依据

   屏幕上的项目符号：“箱线图、散点图和直方图等可视化工具也能帮助发现异常值……”

视频解释道，箱线图可直观呈现数据的离散程度，并使极端观测值清晰可见；在本演示中，异常值被定义为须线之外的点。

1. 适用于分布的图形化检验。

2. 以须线为依据的定义是该视频所明确采用的惯例。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“散点图以二维形式展示数据点，而异常值可能表现为远离其他数据点聚集区域的点。”

2. 字幕依据
   观察依据

   屏幕上的项目符号列表将“散点图”列为可视化工具之一。

视频指出，散点图以二维形式呈现数据，当某些点明显远离观测值的主要聚集区域时，即可识别出异常值。

1. 要求以二维形式展示成对的观测值。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“直方图展示数据的分布情况，异常值可表现为与其他柱子相隔离的孤立柱子。”

2. 字幕依据
   观察依据

   屏幕上的项目符号列表将“直方图”列为可视化工具之一。

视频解释道，直方图用于展示数据的分布，异常值可能以孤立柱子的形式出现，与分布主体相分离。

1. 适用于单变量的分组频数展示。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“异常值会显著扭曲均值和标准差，从而导致错误的结论。”

2. 字幕依据
   观察依据

   幻灯片文字：“异常值会显著影响均值和标准差，从而导致错误的结论。”

视频指出，异常值会显著影响均值和标准差，进而导致分析结论产生误导。

1. 关注数据集的描述性汇总统计。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“它们可能扭曲统计检验的结果，并违反参数检验（如正态性）的假设。”

2. 字幕依据
   观察依据

   幻灯片文字：“它们可能扭曲统计检验的结果，并违反参数检验的假设。”

视频指出，异常值可能扭曲统计检验的结果，并可能违反参数检验的假设，明确以正态性为例。

1. 适用于那些有效性依赖于正态性等假设的统计检验。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“在回归分析中，异常值可能不成比例地影响直线的斜率和截距，从而导致模型不准确。”

2. 字幕依据
   观察依据

   幻灯片文字：“在回归分析中，异常值可能不成比例地影响斜率和截距，从而导致模型不准确。”

视频指出，在回归分析中，异常值可能不成比例地影响拟合直线的斜率和截距，从而产生不准确的模型。

1. 适用于回归分析和拟合的线性关系。

1. 异常值的定义

1. 声音
   观察依据

   讲解者：“删除法：如果异常值是由错误导致的，或不符合研究范围，则可以考虑将其删除。”

2. 字幕依据
   观察依据

   幻灯片文字：“删除法：当异常值属于错误数据或不在研究范围内时，将其删除。”

视频将删除法描述为：在异常值由错误导致或超出研究范围时，将其移除。

1. 仅建议在异常值属于错误数据或超出研究范围时使用。

1. 异常值的定义

1. 声音
   观察依据

   讲解者：“变换法：例如对数变换，以减弱极端值的影响。”

2. 字幕依据
   观察依据

   幻灯片文字：“变换法：应用数学变换以减小异常值所导致的偏态。”

视频将变换法描述为：对数据施加数学变换，以降低极端值的影响；其中举例说明了对数变换。

1. 用于减小偏态或减弱极端值的影响。

1. 异常值的定义

1. 声音
   观察依据

   主讲人：“异常值检测与处理是统计学和数据分析中数据预处理的关键环节。”

2. 字幕依据
   观察依据

   幻灯片标题：“异常值检测与处理：”

异常值检测与处理是统计学和数据分析中数据预处理的关键环节。

1. 该背景为统计学与数据分析。

2. 该数据集包含需进行预处理的观测值。

关于数据预处理实践的一般性陈述。

1. 声音
   观察依据

   主讲人：“必须谨慎选择异常值的处理方法，因为它会显著影响数据分析的结果。”

2. 声音
   观察依据

   主讲人：“每种方法都必须结合具体数据集及分析目标来考量。”

所选的异常值处理方法必须谨慎选择，因为它可能显著影响数据分析的结果。

1. 存在一个需要处理异常值的数据集。

2. 分析目标和数据集背景已知。

关于所有已讨论处理方法的一般性警示声明。

1. 声音
   观察依据

   主讲人介绍了Z分数，并立即陈述了将观测值视为异常值的阈值规则。

1. 该视频并未从分布假设出发推导出3个标准差规则；它仅将其陈述为一种常用判据。

1. 公式

   $$\text{Observations more than three standard deviations from the mean are often considered outliers.}$$
   解释

   视频给出了与Z分数相关的实用决策规则。

   步骤依据

   由主讲人直接陈述。

   视频直接表达

根据视频所陈述的规则，当某个观测值与均值的距离超过三个标准差时，即被标记为异常值。

1. 声音
   观察依据

   主讲人明确陈述了四分位距法的下界和上界表达式。

1. 视频没有解释为何乘数是1.5，仅给出了规则。

1. 公式

   $$\text{Lower boundary: } Q_1 - 1.5\cdot \mathrm{IQR}$$
   解释

   低于该边界的数值被标记为异常值。

   步骤依据

   由说话人直接陈述。

   视频直接表达
2. 公式

   $$\text{Upper boundary: } Q_3 + 1.5\cdot \mathrm{IQR}$$
   解释

   高于该边界的数值被标记为异常值。

   步骤依据

   由说话人直接陈述。

   视频直接表达

IQR 方法将区间 [Q1 - 1.5·IQR, $Q3 + 1.5$·IQR] 之外的观测值归类为异常值。

1. 声音
   观察依据

   说话人指出，格拉布斯检验（Grubbs' test）每次仅基于距均值最大的偏差来检测一个异常值。

1. 本片段中未展示任何检验统计量公式或显著性检验步骤。

1. 公式

   $$\text{Identify the observation with the largest deviation from the mean.}$$
   解释

   视频围绕最极端的偏差来阐述该方法。

   步骤依据

   由说话人直接陈述。

   视频直接表达
2. 公式

   $$\text{Detect one outlier at a time.}$$
   解释

   该方法以迭代方式呈现，而非同时进行。

   步骤依据

   由主讲人直接陈述。

   视频直接表达

格拉布斯检验被描述为一种“一次仅检测一个离群值”的方法，其核心是围绕距离均值最大的偏差展开。

1. 图示
   观察依据

   一页 OneNote 页面标题为“识别离群值”，其中包含两个标题：“离群值检测与处理：”和“识别离群值：”，下方以项目符号列举了统计方法与可视化工具。

2. 动画
   观察依据

   黄色高亮依次应用于关键词，例如“Z 分数”、“IQR 方法”、“格拉布斯检验”、“箱线图”、“散点图”和“直方图”。

1. OneNote 页面

2. 标题“识别离群值”

3. 方法的项目符号列表

4. 黄色荧光笔标记

1. 光标在页面上横向移动。

2. 随着讲解推进，关键方法名称被逐一高亮。

1. 幻灯片在整个时间段内保持在当前页面不变。

2. 底层的项目符号文字持续可见，同时添加高亮效果。

视觉强调与口头列举的异常值检测方法同步，并将每种命名技术与其对应的项目符号文字关联起来。

1. 图示
   观察依据

   页面切换为“异常值的影响”，标题为“异常值对数据分析的影响：”，并列出关于均值与标准差、统计检验、回归分析和稳健性的四条项目符号。

2. 动画
   观察依据

   黄色高亮出现在以下短语上：“均值与标准差”、“统计检验”、“参数检验的假设”以及“在回归分析中”。

1. OneNote 页面

2. 标题“异常值的影响”

3. 四条项目符号陈述

4. 黄色高亮标记

1. 幻灯片从异常值识别切换到其影响。

2. 当主讲人讨论具体后果短语时，这些短语被逐个高亮显示。

1. 页面布局保持为项目符号列表。

2. 未展示任何数值示例或图表。

该幻灯片将异常值的影响归纳为四类：描述性统计量的扭曲、假设检验的失效、回归分析的敏感性，以及对稳健处理方法的需求。

1. 图示
   观察依据

   页面切换至“异常值处理”，标题为“异常值处理方法：”，并以项目符号列出五种方法：删除、变换、截断、插补和分箱。

2. 动画
   观察依据

   在讲解每种方法时，其名称被黄色高亮显示。

1. OneNote 页面

2. 标题“异常值处理”

3. 五种处理方法的项目符号

4. 黄色高亮标记

1. 幻灯片内容从异常值的影响切换至处理方法。

2. 在讲解过程中，每种方法的名称依次被高亮显示。

1. 内容保持文字形式；未展示任何实际数据集或公式推导过程。

2. 关于方法选择的最终口头提醒，就出现在同一张幻灯片上。

视觉序列呈现了一组预处理策略的菜单，并支撑了结尾处的论断：方法选择应取决于数据集的具体背景和分析目标。

1. 声音
   观察依据

   主讲人：“删除可能造成信息丢失，而插补与变换若操作不当，则可能引入偏差。”

人们或许会认为，剔除异常值只是单纯地清理数据，不会带来任何负面影响。

视频明确警示：删除可能导致信息丢失，因此不应将其视为零成本的默认操作。

1. 声音
   观察依据

   主讲人：“插补与变换若操作不当，则可能引入偏差。”

人们或许会以为，替换或变换异常值总能保留原始信号。

视频指出，插补与变换若操作不当则可能引入偏差，因此这些方法需谨慎论证、合理选用。

1. 声音
   观察依据

   在定义异常值之后，主讲人说“识别异常值”，并列举了若干统计方法。

2. 图示
   观察依据

   幻灯片层级结构中，“识别异常值：”位于“异常值检测与处理：”之下。

异常值的定义引出了后续的检测方法，首先介绍的是Z分数法。

1. 声音
   观察依据

   主讲人从一般性定义出发，逐步过渡到具体的识别规则，包括四分位距（IQR）法。

IQR规则是识别前述所定义的异常值类型的一种可操作方法。

1. 声音
   观察依据

   在介绍其他统计识别方法之后，紧接着引入格拉布斯检验（Grubbs' test）。

格拉布斯检验被呈现为另一种正式的异常值检测程序，前提是异常值的概念已先行定义。

1. 字幕依据
   观察依据

   该幻灯片将统计方法与可视化工具归并在同一标题“识别异常值：”之下。

2. 声音
   观察依据

   解说内容从统计检验转向箱线图、散点图和直方图。

视频将数值型统计检测方法与图形化检测工具进行对比，二者目标一致，即发现异常值。

1. 声音
   观察依据

   主讲人在讲完识别方法后说道：“接下来讨论异常值对数据分析的影响。”

2. 图示
   观察依据

   幻灯片标题由“识别异常值”切换为“异常值的影响”。

一旦能够识别异常值，课程便转向探讨其重要性：它们会影响后续的数据汇总统计与建模结果。

1. 声音
   观察依据

   主讲人在讨论完异常值的影响后，说道：“接下来介绍处理异常值的方法。”

2. 图示
   观察依据

   幻灯片标题从“异常值的影响”切换为“异常值的处理”。

异常值所造成的危害推动了后续处理方法的提出。

1. 字幕依据
   观察依据

   全部五种方法均以并列项目符号形式出现在“处理异常值的方法：”之下。

删除法会移除观测值，而变换法则保留数据，仅通过改变其尺度来削弱极值的影响。

1. 声音
   观察依据

   截断法被描述为将数值限制在某个范围内，而插补法则被描述为用具有代表性的数值替换异常值。

截断法通过设定阈值来约束极值，而插补法则用估计出的代表性数值进行替代。

1. 声音
   观察依据

   结尾陈述从信息损失与偏差两个角度评估了删除法、插补法和变换法。

关于需谨慎选择方法的一般性提醒适用于所有所列处理方式，包括分箱法。

1. 声音
   观察依据

   开篇定义由主讲人清晰口述，并由幻灯片文字加以强化。

1. 异常值的定义

1. 声音
   观察依据

   主讲人指出，Z 分数的三倍标准差准则被用作判断依据。

1. Z分数异常值识别规则

1. 声音
   观察依据

   主讲人给出了四分位距（IQR）的下界和上界表达式。

1. 四分位距（IQR）异常值识别规则

1. 声音
   观察依据

   主讲人指出，格拉布斯检验（Grubbs' test）每次仅从距离均值偏差最大的那个点出发检测一个异常值。

1. 格拉布斯检验说明

1. 声音
   观察依据

   旁白将箱线图、散点图和直方图解释为识别异常值的方法。

1. 用箱线图发现异常值
2. 用于识别异常值的散点图
3. 用于识别异常值的直方图

1. 声音
   观察依据

   主讲人列举了异常值对均值、标准差、统计检验以及回归分析的影响。

1. 异常值对均值和标准差的影响
2. 异常值对统计检验的影响
3. 异常值对回归模型的影响

1. 声音
   观察依据

   主讲人列举了删除、变换、截断、插补和分箱等处理方法。

1. 作为异常值处理方法的删除法
2. 作为异常值处理方法的变换法
3. 截断作为一种异常值处理方法
4. 插补作为一种异常值处理方法
5. 分箱作为一种异常值处理方法

1. 声音
   观察依据

   结尾提醒指出，方法的选择会影响分析结果，并可能引入偏差或造成信息损失。

1. 对异常值处理方法的谨慎选择
2. 删除异常值并非自动就是安全无害的。
3. 插补与变换可能引入偏差。