离群值的定义
离群值是指那些明显高于或低于数据集大多数数值(即背景值)的数据点。它们在图像上会明显偏离主聚类区域,显得孤立。
5 Minutes Engineering · YouTube · 6:05
本视频片段介绍了机器学习中离群值的概念。主讲人使用白板直观演示了如何绘制数据点,以及离群值如何作为远离主要簇的极端值出现。随后引入学生考试成绩这一贴近生活的例子,进一步阐释该概念。 这段120秒的印地语白板讲解以“离群点”为主题,用5名学生的分数15、20、25、20、100说明离群点如何影响算术平均数。视频先给出学校规则:班级平均分低于35才安排补习班;再指出虽然多数学生分数低于35,但因为有一个100分,均值被拉高至36,导致按均值规则不再加课。右侧散点图用一个远离主簇的点强化“离群”的直观感受,核心结论是均值对极端值敏感,可能掩盖样本内部的差异。 这段120秒视频用印地语讲解机器学习中的离群值。前半段以分数样本15、20、25、20、100为例,先算出平均值为36,再把极端值100换成20,平均值降为20,并据此说明离群值会改变基于阈值35的extra class决策。后半段转到二维散点图,用一个远离主簇的点和两条不同方向的拟合线,直观说明离群值还会把模型从多数数据形成的趋势上拉偏。 本片段为一段机器学习课程的结尾。讲师在白板上展示了“异常值”的主题,并通过一个计算学生分数平均值的例子以及一个带有孤立点的散点图,直观地引入了异常值的概念。最后,讲师呼吁观众点赞和分享视频。
在学习检查器中查看要点和时刻,或切换阅读标签查看完整笔记。
依据视频画面与讲解整理,并非逐字语音转写。
在今天的视频中,我们将理解机器学习中一个非常重要的概念——‘离群值’(Outliers)。我们将探讨离群值是什么,以及它们如何影响我们的模型,并通过一个简单示例和可视化方式来观察这一点。
假设我们有一个包含多个记录或数据点的数据集。当我们把这些数据点绘制在图表上时,大多数点会形成一个簇(cluster);但有时,一个或少数几个点会距离这个主簇非常遥远。
这些彼此孤立的点就称为‘离群值’。离群值是异常或极端的数据点,即其数值远小于或远大于数据的主体部分(我们可称之为背景值)。一个自然的问题是:这些离群值是否会影响我们的模型预测或预测效果?让我们通过一个相关的例子来理解这一点。
假设某班级仅有5名学生,他们参加了一场满分为100分的考试。学生们获得的分数分别是:15、20、25、20和100。其中,15、20、25和20处于正常范围内,但100分却与其他所有分数差异极大且极为极端。这种极端的数据点就被称为离群值。
画面一开始就在白板上写下主题:离群点。下方给出一组具体数据:分数:15、20、25、20、100。右侧还有一幅坐标示意图,其中大部分点聚成一团,另有一个点明显远离这团点。这里的数学问题是:什么是离群点?它为什么会改变我们对整组数据的判断?
接着,讲解者引入一个应用场景:学校规定,如果一个班的平均分低于35,就给这个班安排额外辅导课;如果平均分不低于35,就不安排。于是,判断标准被简化成一个统计量——班级平均分。
然后视频回到这5个分数本身。若按个体观察,15、20、25、20都小于35,只有100高于35。也就是说,5个人里有4个人低于阈值。按照“多数学生情况”来直观判断,这个班的大部分学生其实仍然需要额外辅导。
但讲解者马上指出关键反差:仅仅因为其中一个人考了100,这个极端值就会把整体平均值往上拉。换句话说,离群点不是“可有可无”的细节,它会直接进入汇总统计量并改变结论。
为了验证这一点,白板上现场写出算术平均数公式:。先把分子求和得到,再除以样本容量,得到。这个36被圈出并打勾,表示它就是这组数据的平均值。
最后,视频把计算结果和管理规则连起来:因为,如果学校只看平均分,就会判定这个班不需要额外辅导课。可这与“学生分数低于35”的直观感受相反。于是本段的核心结论落地:算术平均数对离群点非常敏感,单靠均值可能掩盖数据内部的真实分布。
视频一开始就在白板上并列给出两类证据:上方是标题Outliers和一组分数Marks:15、20、25、20、100,下方是二维坐标系中的一簇主数据点和一个明显分离的左上点。讲师先指着那个孤立点,把它定义为outlier,即相对于多数数据点而言极端且不寻常的观测值。
接着他回到数值例子,说明这个极端值并非‘只影响那一个学生’,而是会将整个班级的average拉高。白板上已写出均值计算。这一步的数学依据是算术平均:将所有观测值相加,再除以样本数。
为了让对比更鲜明,讲师把原来的100改成20,并在白板上重算:。此处仅最后一个观测值发生变化,其余四个数与样本容量均保持不变,但总和从180降至100,平均值从36降至20。这一数值推导直接说明均值对离群值极为敏感。
随后他将两个结果与阈值35进行比较。含离群值时,按视频中的例子,该较高的平均值会使决策反对为全班增设extra class;替换后,平均值降至阈值以下,结论随之反转,变为这些学生确实需要extra class。换言之,离群值不仅改变描述统计量,还会改变基于平均值所作的判断。
讲完这个分数例子后,讲师再次强调:所谓离群值,就是相对于多数数据点而言极端、不寻常的值;正因为它极端,所以才会对主要决策造成很大影响。这里把前面的数值例子和开头的散点图重新联系起来,说明‘一个异常观测’与‘整体结论被扭曲’之间的因果关系。
最后一段转入图形层面的解释。坐标系里的主簇仍然集中在右下方,左上方保留那个离群点。讲师先画出一条大致穿过主簇的拟合线,表示如果没有离群值,模型会沿着多数数据形成较合理的趋势,预测结果也会更贴近这团点。
紧接着他又画出第二条更陡、朝左上离群点偏移的线,并口头解释模型会尝试趋近、向该点移动。这里的重点不是给出正式回归方程,而是用两条线的方向差异说明:离群点会把拟合结果从最优路径上拉开,使模型学到被扭曲的趋势。
因此,这 120 秒的内容形成了一条清晰的递进链:先定义离群值,再用均值例子说明它如何改变汇总统计和决策,最后用散点图和拟合线说明它如何进一步影响机器学习模型的拟合方向。
在这个视频的结尾部分,讲师站在白板前进行总结。白板上写着大标题“异常值”。左侧展示了一组学生分数“分数:15,20,25,20,20”,并给出了计算平均值的完整过程:,结果被圈出并打勾。右侧画了一个散点图,其中大部分点分布在一条直线附近,但有一个明显的孤立点偏离了这条线,用以形象地说明什么是异常值。讲师在此期间口头呼吁观众点赞和分享视频,并感谢大家的观看。
离群值是指那些明显高于或低于数据集大多数数值(即背景值)的数据点。它们在图像上会明显偏离主聚类区域,显得孤立。
当数据点以散点图形式呈现时,离群值会表现为一个远离其他点所构成群体的单独点。
某班级中5名学生的分数分别为15、20、25、20和100。此处100分是一个离群值,因为它相较于其余所有分数都显著偏高(即极端)。
视频用标题“离群点”、分数样本15,20,25,20,100,以及右侧“一簇点+一个孤立点”的示意图共同说明:离群点就是与其他观测明显不同、远离主体分布的那个数据点。这里100相对于其余四个低分就是离群点。
视频通过现场计算说明,算术平均数会把所有观测同等纳入求和,因此一个极端值会明显拉动结果。样本()/5的和为180,除以5得36,说明单个100足以把平均分抬到阈值以上。
这组数据里,四个分数15,20,25,20都低于35,按多数个体看,这个班大多需要帮助;但整体平均数是36,按“平均分低于35才加课”的规则又不需要加课。视频正是用这个矛盾说明:只看均值会忽略样本内部结构。
右侧坐标图未标注坐标轴,但直观上将“正常主体”绘制成一团密集的点,而将“异常观测”绘制成远离该团点的孤立点。该图的作用是将离群点从数值差异转化为空间上的分离,从而帮助理解为何100与其他分数不属于同一聚集区域。
视频把离群值解释为相对于多数数据点极端、不寻常的观测值。白板上同时出现一簇主数据点和一个远离主簇的孤立点,讲师直接指着该点说 this is outlier。这个定义是直观性的,不依赖正式统计检验。
同一组分数 15, 20, 25, 20, 100 的均值为 36;把 100 换成 20 后,均值立刻降为 20。视频用这个对照说明,算术平均会把极端值完全吸收进总体水平,因此一个小样本中的单个离群值就能显著改变汇总结果。
视频引入阈值 35,并把两个平均值与之比较:含离群值时 ,结论是不给全班加 extra class;替换后 ,结论变成需要 extra class。这个例子说明离群值不仅改变数字本身,还会改变下游判断方向。
在散点图中,讲师先画出贴合主簇的拟合线,再画出朝左上离群点偏移的第二条线,并说模型会 move 趋向 this point、从 best optimal path 上 divert。这里用几何方式说明:离群值会改变模型学到的趋势,而不只是改变平均值。
视频反复强调只改了一个〔value〕,却让整个〔average〕和〔decision〕都变了。它提醒观众,在小样本和基于平均值的规则中,单个极端观测就可能造成实质性后果;在建模场景中,这种影响还会进一步体现在拟合线和预测趋势上。
视频通过白板上的标题“Outliers”引入异常值主题。虽然本片段未给出精确定义,但后续图表与计算示例暗示:异常值是数据集中偏离正常范围的观测值。
展示了计算一组数值平均值的基本方法:将所有数值相加,再除以数值的总个数。视频中的例子是计算分数15、20、25、20、20的平均值,结果为20。
通过一幅手绘散点图直观展示异常值:图中大部分数据点围绕一条回归直线分布,而一个孤立的点明显偏离该直线及其他数据点,这个点即为异常值。
按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。
白板文字:“分数:15,20,25,20,100。”
Marks
五名学生的考试成绩(满分100分)。
表示学生分数的一组数值。
白板上写出 “分数:15,20,25,20,100”
Marks: 15 , 20 , 25 , 20 , 100
一组含5名学生的分数样本,用作离群点示例
有限实数样本集
讲解者反复强调,只有当班级平均分低于35时才需要额外课程
35
判断某班是否需要额外课程的平均分阈值
分数尺度上的常数阈值
板书写出 ()/5 =
这组样本的算术平均数计算式
样本均值公式
板书最终写出36,并被圈出且打勾
讲解者说 average 会升到35以上
36
该样本的平均分结果
实数
白板上方的标题写着 Outliers。
Outliers
离群值,指相对于多数数据点极端或不寻常的观测值。
统计与机器学习中的数据点
白板上写有 Marks: 15, 20, 25, 20, 100。
讲师围绕这组分数解释一个极端值如何影响整体平均。
Marks: 15, 20, 25, 20, 100
一组学生分数样本,其中 100 被用作极端值示例。
离散数值样本
白板上可见 ()/5 = 。
讲师说明这个平均值会影响是否安排额外课时的决定。
()/5 =
包含离群值 100 时的算术平均数计算。
均值计算
讲师反复提到平均值低于 35 或小于 35。
白板右侧可见35作为比较基准。
35在视频中作为判断阈值出现,但其正式定义规则未在片段内展开。
35
用于判断是否需要额外课程的平均分阈值。
决策规则中的数值门槛。
讲师说:‘agar iski jagah pe 100 ki jagah pe let's say 20 hota’。
白板上把原来的100改成20。
20
替换离群值100后的新样本值,用来演示单个极端值改变的影响。
样本值替换。
白板上可见()/5 = 。
讲师口头计算100除以5等于多少,结果是20。
()/5 =
去掉极端值后重新计算的算术平均数。
均值计算。
坐标系右下方有一簇密集小点。
讲师把这簇点称为多数数据点。
scatter cluster
代表多数正常数据点的二维散点群。
散点图/回归示意
主讲人将异常值定义为偏离背景值(即大多数数据点)显著的、不寻常或极端的数据点。
散点图显示了一簇密集的点,以及一个远离该簇的孤立点。
异常值是相对于数据集主体(背景值)而言取值极小或极大的、不寻常或极端的数据点。
适用于任何包含记录、观测值、样本或数据点的数据集。
标题写着 Outliers
右侧坐标图中有一簇密集点和一个明显分离的高点
讲解者围绕100这个分数说明它如何改变班级平均
视频用“Outliers”作标题,并通过一个分数样本和一个散点图说明:离群点是数据集中与其他观测明显不同、距离主体分布很远的那个值。这里100相对于15、20、25、20就是离群点。
用于直观理解离群点
视频未给出正式数学定义
板书计算()/5 =
讲解者说 just because of this person ... aapka average 35 ke upar chala jaata hai
视频展示的方法是用算术平均数判断整体水平,再说明单个极端值会把平均值拉高。因为均值把所有观测同等相加后再除以个数,所以一个很大的离群值会显著影响最终结果。
样本由有限个数值构成
使用算术平均数作为汇总统计量
讲解者说:从多数学生角度看,班上的孩子们确实需要额外辅导课
样本中 15,20,25,20 都低于 35,而 100 高于 35
视频强调一种判断思路:如果按多数个体来看,5 人中有 4 人分数低于 35,似乎全班都需要帮助;但如果只看平均值,加入一个 100 后均值变成 36,结论就发生反转。这说明单一均值可能掩盖样本内部的结构
在比较‘多数个体情况’与‘总体平均值’时
阈值取 35
右侧坐标轴上画有一簇密集的小点和一个孤立的高点
讲解者多次指向这簇小点和那个孤立的高点
坐标轴未标注具体变量名称和单位
左侧图形的含义不够明确
视频用一幅手绘坐标图辅助说明离群点:大部分点聚集在一起,代表数据的主体分布;另一个点远离这群点,代表异常观测。这个图将“离群”表达为空间上的明显分离。
仅作直观示意
未给出坐标轴定义
讲师说:这种离群值会产生影响,会带来干扰;这就是离群值,这就是离群值。
白板标题为“离群值”,并用一个远离主数据簇的点标示离群值。
视频用“相对于多数数据点而言极端且不寻常的值”来解释 outlier。它并非通过正式统计检验定义,而是通过一个明显偏离主数据簇的点来说明:这样的值会对整体结果产生强烈影响。
存在一组多数彼此相近的数据点
某个观测值相对于这些点显得极端或不寻常
白板上先后给出 ()/5 = 36 和 ()/5 = 20。
讲师强调:我仅改动了一个数值,它就进入了额外类别(extra class)的考量范围。
视频通过同一组分数只替换一个值来演示:当100换成20时,平均值从36降到20。这说明算术平均会把极端值完全吸收进总体水平,因此一个离群值就能显著改变均值。
使用算术平均作为汇总指标
样本量较小
存在明显极端观测值
讲师说‘正因如此,所作的决定与本班实际情况相悖……现在给这些学生额外加课是合理的。’
比较36与20相对于阈值35的位置。
视频未给出 extra class 规则的完整正式表述,只展示了以35为界的判断示例。
视频把均值与阈值35比较:含离群值时均值为36,高于35,因此讲师说决定会反对给全班加课;把100改成20后均值为20,低于35,于是结论变成这些学生需要 extra class。这个例子说明离群值不只是数值偏差,还可能改变下游判断。
存在基于平均值的决策阈值
阈值取35
决策方向会随着平均值的高低而发生变化
讲师在主簇附近画出一条拟合线,再画出一条朝向左上方离群点偏移的线。
讲师说:‘如果您的模型是基于正常数据构建的,那它会建得非常好……但当……离群值出现时,模型会试图去拟合,朝着这个点移动。’
视频未写出具体的损失函数或回归方程,仅通过几何示意图说明趋势线会被拉偏。
视频用二维散点图说明:若忽略离群值,模型会沿多数点形成较为合理的发展趋势;一旦加入远离主簇的点,拟合线便会朝该点方向偏移,从而偏离原本的最佳路径。这是对离群值如何影响模型参数的直观解释。
数据可用二维散点图表示
模型试图拟合整体的变化趋势
存在明显远离主簇的观测点
白板顶部写有大标题“异常值”
视频画面展示了关于“异常值”的主题,但在此5秒片段中未给出具体定义。
白板上展示了求平均分的完整计算过程:“(15+20+25+20+20)÷5=100÷5=20”
通过将一组数值相加,再除以这组数值的个数来计算平均值。视频中以分数为例进行了演示。
数据集包含有限个数值
白板右侧画有一个散点图,包含一条穿过数据点的直线,以及一个明显偏离该直线的孤立点
在散点图中,远离其他数据点和回归直线的点通常被视为异常值。
存在二维坐标系和一组数据点
板书算出36
讲解者说平均值35会上升
对于样本15、20、25、20、100,其算术平均数为36,因此大于阈值35。
样本就是白板上列出的五个数
采用算术平均数
阈值取35
对这组给定样本成立
讲解者说五个孩子中有四个孩子的分数低于35
样本中15、20、25、20均小于35
在这五个分数中,有四个分数低于35,因此按多数个体观察,这个班的大部分学生仍可能需要额外辅导。
阈值取35
把“多数”理解为五个观测中的四个及以上
对这组给定样本成立
讲解者说就因为这个人……学校管理部门表示不会开设额外课程
均值从“多数低于35”的直觉转为36>35
视频没有明确说明去掉100后均值是多少,只说多数低于35
视频主张:仅仅因为一个得100分的人,班级平均就被拉到35以上,从而让基于平均值的额外课程决策发生反转。
决策规则是“班级平均分低于35才开设补习班”
样本中包含一个极端高分100
在该示例情境下成立
讲师说:‘因为一个孩子,整个平均值就被影响了,对吧?’
同一组数据仅替换一个值,均值从36变为20。
在一个小样本中,单个极端观测值可以显著改变算术平均值。
使用算术平均
样本中存在明显极端值
存在性示例:视频用一组 5 个分数直接展示。
讲师说‘这个决定是针对本班做出的……现在给这些孩子额外上课是合理的。’
36 与 20 相对于 35 的大小关系不同。
决策规则本身只在示例层面给出,未作一般化证明。
当决策依据平均值与阈值比较时,离群值可能使决策结论发生反转。
决策规则依赖平均值
阈值固定为 35
样本中存在离群值
示例性命题,非形式化的一般定理。
讲师说:‘他会尝试趋近这个点……会略微偏离自己最优的路径。’
两条拟合线的方向差异直观展示了偏移。
视频未给出模型类别、损失函数或最优路径的正式定义。
当存在远离主簇的观测点时,模型拟合线会被拉向该点,从而偏离主要由多数数据所决定的趋势。
数据中存在主簇和离群点。
模型试图拟合整体趋势。
直观示意性命题,基于散点图演示,而非严格证明。
板书逐步写出()/5 =
讲解者口头同步念出求和及除以5的过程
先把五个学生的分数全部相加,得到总和。
算术平均数的定义要求先求所有观测值的总和。
将总和除以观测个数5,写成均值的表达式。
算术平均数等于总和除以样本容量。
计算分子得到180。
对应的式子为:。
继续相除得到平均值36。
180 除以 5 等于 36。
该样本的算术平均数是36,因而高于阈值35。
讲解者先说多数情况下需要额外课程,后又说平均值升到了35以上。
四个数低于35,但均值为36。
视频没有写出‘去掉100后的均值’这一步,只给出多数低于阈值的口头判断。
先看多数个体,发现五个分数中有四个低于35。
直接比较每个样本值与阈值35。
据此讲解者得出直觉结论:这个班大多数学生仍需要额外辅导。
这是视频中的口头解释,不是形式化定理。
再计算整体均值,发现由于100的存在,平均值升到36。
使用前面完成的算术平均计算。
如果学校仅依据“平均分低于35”这一标准来决定,则该班级将不再被判定为需要额外课程。
套用视频开头给出的决策规则。
在同一个数据集下,“看多数个体”和“看平均值”会得出相反的管理结论,这正是离群点削弱均值解释力的一个实例。
白板上写出两个均值算式。
讲师逐步口算与。
先将五个分数相加得到总和180,再除以样本数5,得到含离群值时的平均值36。
算术平均数的定义。
将原来的极端值100替换为20后,总和变为100,再除以5,得到新的平均值20。
同一算术平均公式在新样本上的直接代入。
仅改变一个观测值,平均值就从36降至20。
由前两步的数值计算比较得出。
该推导表明算术平均数对单个极端值极为敏感。
讲师将20与35进行比较,并据此表示需要加课。
白板上保留35作为阈值。
视频未完整陈述加课规则的全部条件。
含离群值时的平均值高于阈值35,因此按视频示例,决策不支持为全班加课。
与阈值进行比较。
替换离群值后的平均值低于阈值35,因此按照视频示例,决策转为支持为这些学生增设课程。
与同一阈值进行比较。
在同一个阈值下,离群值的存在与否会导致相反的结论。
主讲人引入一个例子:某班级有5名学生,其考试分数满分是100分。
白板列出:“分数:15,20,25,20,100。”
在学生考试分数的数据集中识别异常值。
班级有5名学生。
考试总分为100分。
获得的分数:15、20、25、20、100。
通过一个贴近生活的例子,理解异常值如何影响模型。
列出五名学生的分数。
视频中已给出。
分数100相较于其他分数(15、20、25、20)是一个异常值。
散点图的直观观察显示,100是一个远离其他分数聚集区域的孤立点。
分数:15,20,25,20,100
讲解者说:五名学生的分数已确定。
画面上写着:()/5 =
给定一个班级共5名学生的分数15、20、25、20、100,若学校规定班级平均分低于35才安排额外课程,问该班级是否需要额外课程,以及这一结论说明了什么。
样本为15、20、25、20、100
样本容量为5
决策阈值为35
规则为平均分低于35才开设补习课
计算平均分,并依据该规则得出判断结论;同时理解离群点如何影响这一结论。
按算术平均数公式求全班平均分。
视频明确写出并使用了均值公式。
求和后再除以5,得到平均分36。
板书展示了完整的计算过程。
将平均分与阈值35进行比较。
视频反复以35作为判断基准线。
因为平均分不低于35,所以学校按该规则不会为这个班增设补习课。
直接套用视频给出的管理规则。
与此同时,多数学生的个体分数仍低于35,说明均值结论可能掩盖班级内部的差异。
这是视频用来引出离群点问题的核心对比。
平均分为36,按“平均分低于35才加课”的规则,这个班不需要额外课程;但视频借此说明,单个离群值100会把均值抬高并改变决策。
可用板书中的求和180与除法复核;也可逐项比较15、20、25、20与35,确认多数个体低于阈值。
白板上列出成绩:15、20、25、20、100及其均值计算过程。
讲师通过增设课程(extra class)的例子,解释离群值如何影响决策。
视频未说明阈值35的来源或适用范围。
给定一组学生分数,说明其中一个极端高分如何影响班级平均值,以及对是否安排增设课程所作的判断。
分数样本为15、20、25、20、100
判断所用阈值为35
将100替换为20作为对照情形
比较替换离群值前后的平均值,并说明决策为何发生改变。
先计算原始样本的平均值。
算术平均的定义。
原始平均值高于阈值,因此讲师表示将反对为全班增设课程。
与阈值35比较。
将极端值100替换为20后,重新计算平均值。
算术平均的定义。
新平均值低于阈值,因此结论变为这些学生需要额外课程。
与阈值35比较。
含离群值时平均值为36,替换后平均值为20;由于而,决策结果发生反转。
两次均值计算均可通过白板上显示的加法与除法直接验算。
白板上展示了具体的分数数据和计算过程
计算一组学生分数(15、20、25、20、20)的平均值。
分数数据:15、20、25、20、20
求出这组数据的平均值
将所有分数相加并除以分数的总个数
平均数的定义
计算分子的和
算术加法
得出最终的平均值
算术除法
对应的式子为:20
白板上的计算结果被圈出并打勾确认。
主讲人先绘制一张表格,再将表格中的数据点绘制成笛卡尔坐标系上的点,呈现出一个聚集区域和一个孤立点。
表格
笛卡尔坐标轴
数据点(圆点)
绘制表格。
绘制坐标轴。
描出点的聚类。
描出单独的离群点。
这些数据来自单一来源/表格。
直观展示离群点如何作为一个极端值,与数据点的主要分布相分离。
白板上方写Outliers,下面写Marks:15,20,25,20,100
右侧有坐标轴、一簇密集点和一个孤立高点
左侧还有一个带向下箭头的矩形(或框状)草图,含义未明
左侧框图和坐标轴的具体变量未标注
孤立点是否精确对应100未在图中直接标出
标题Outliers
分数列表15、20、25、20、100
右侧坐标图
一簇密集点
一个孤立的高分点
左侧框图草图与向下的箭头
讲解者首先指向分数列表
随后多次指向右侧密集分布的点与那个孤立的点
最后在白板上补写均值计算式,并将36圈出并打勾
分数列表始终可见
右侧‘主体簇加孤立点’的对比关系始终可见
画面将抽象的离群值(outlier)概念落实到两个层面:数值层面是一个极端分数100,几何层面是散点图中远离主簇的单个点
讲解者边说边写出()/5
接着写出=,并将36圈出并打勾
求和表达式
分母5
结果
最终结果36
先写分子求和
再写除以5
最后写出结果并强调
使用的数据始终是同一组五个分数
这一动画过程把“离群点影响结论”从口头说明落实为可核验的数值计算。
画面一开始即同时呈现标题“Outliers”、分数列表、均值算式以及坐标系中的散点图。
标题:离群值
分数列表:Marks: 15, 20, 25, 20, 100
均值计算式
二维坐标系
主簇散点
左上角离群点
讲师用手指向分数100和该离群点,建立数值示例与图形示例之间的对应关系。
分数列表与散点图同时保留在白板上,便于并列理解离群值对均值的影响和对模型趋势的影响。
视频首先在同一块白板上,将‘离群值影响平均值’和‘离群值影响图形趋势’这两个层面并置呈现。
讲师擦除或覆盖原有的100,改写为20。
均值算式改写为()/5 = 。
原始极端值100
新数值20
修改后的均值计算式
样本中最后一个数值由100改为20
总和由180改为100
平均值由36改为20
其余四个分数15、20、25、20保持不变
样本容量仍为5
这一视觉调整强调:仅改动一个数值,整体平均值就会发生显著变化。
讲师先画一条穿过主要数据簇的直线,再画一条朝向左上方离群点偏移的直线。
讲师说模型本来会很好地建立,但离群点出现后,模型会朝这个点偏移。
两条线未标注方程,仅作示意。
主簇散点
左上离群点
第一条拟合线
第二条偏移拟合线
先出现较贴合主簇的直线
随后出现更陡、朝离群点方向偏移的直线
讲师用手势沿两条线比较方向差异
散点位置本身保持不变
离群点始终位于主簇之外
通过同一散点图上两条线的对比,视频直观说明离群值会改变模型学到的趋势方向。
整个片段中,讲师站在白板前,白板上静态展示了标题、数据、计算公式和图表
标题“离群值”
分数数据及平均值计算过程
散点图与回归直线
讲师
白板上的所有文字和图形保持不变
画面通过静态板书呈现了异常值的概念背景,包括一个受异常值影响的平均值计算示例和一个直观的散点图。
讲解者对比多数学生需要帮助与平均值35以上后不需要帮助
看到班级平均分高于某个阈值,就以为班里大多数学生都不需要额外帮助。
视频用15,20,25,20,100说明:即使平均分是36,仍有4个学生低于35,所以均值不能代替对个体分布的观察。
讲解者说:就因为这个人……您的平均值会上升到35以上
认为一个特别高的分数不会明显改变整体统计结论。
视频表明,单个离群值100足以把均值推到阈值以上,进而改变是否开设额外课程的决定。
讲师反复强调,我只是改动了一个 ek 值,结果它就进入了额外课堂的讨论范围。
均值从36变到20。
有人可能认为样本中只有一个极端值,对整体平均或决策不会有实质影响。
视频用5个数的例子说明,单个极端值足以把平均值从36拉到20,并让基于35的判断完全反转。
讲师从均值例子转到模型与预测的讨论。
拟合线被画成朝离群点偏移。
离群值不仅会改变平均值,还会改变模型拟合方向和预测趋势。
视频后半段用散点图和两条拟合线说明,离群点会把模型从多数数据形成的最佳最优路径上拉开。
讲解者指出,离群点是相对于‘背景值’来定义的,而背景值即大多数数据点所取的值。
离群点通过变得极小或极大,与背景值(即大多数数据点)形成对比。
先讲离群值,再计算受100影响的均值
均值计算直接使用含离群点的样本
视频先用离群点概念建立直觉,再用均值计算展示离群点如何实际影响统计量。
讲解者把平均值与开设额外课程的规则直接联系起来
“按均值判断”和“按多数个体判断”在本例中给出相反结论,视频正是利用这种对比说明离群点问题。
右侧散点图用孤立点表现远离主簇的观测
图中未直接标注数值
散点图是离群点定义的可视化实例,用空间分离来表达“异常观测”。
讲师先定义离群值,再立刻用均值例子展示其影响。
36与20的对比紧跟在离群值说明之后。
先引入离群值的概念,然后立即将其应用于算术平均对离群值敏感的示例中。
讲师将平均值与35比较后,直接讨论extra class决策。
与的比较构成决策依据。
均值的变化进一步被用来说明:基于阈值的决策如何被离群值翻转。
讲师从平均值所受的影响过渡到模型及预测所受的影响。
白板内容从数值算式转向散点图和拟合线。
视频将‘离群值影响单一汇总统计量’这一想法推广至‘离群值也会影响模型拟合趋势’。
前半段讲解extra class决策,后半段讲解模型及预测。
数值例子与图形例子并列出现在同一节课中。
补充说明:前者展示离群值对简单规则判断的影响,后者展示离群值对连续模型拟合方向的影响;二者层次不同,但都说明了离群值的后果。
白板上的平均值计算和散点图并列展示,暗示了它们之间的联系
视频通过展示一个包含极端值(如15和25)的数据集的平均值计算,来引出异常值对统计量影响的主题。
讲解者明确提问‘离群点是什么?’并给出解答。
讲解者引入学生成绩的例子。
标题“离群点”与样本15、20、25、20、100同时出现
画面上写着:()/5 =
讲解者对比了多数人达标(majority wise)与平均分(average)两种判断方式的结果
‘额外辅导课’的规则与样本计算贯穿整段内容
右侧坐标图中有一簇密集的点和一个孤立的点
坐标轴未作标注
讲师直接说this is outlier。
标题与孤立点共同指向该概念。
白板上展示了两组数据的均值计算。
讲师强调仅修改了一个数值。
讲师将平均值与35比较后,讨论了额外课程(extra class)的问题。
可见与的对比。
两条拟合直线的方向不同。
讲师说模型会向该点移动。
白板上清晰展示了求平均值的步骤
已覆盖 · 离群值主题介绍与频道推广。
已覆盖 · 通过绘制数据点来识别离群值的可视化讲解。
已覆盖 · 离群值的形式化定义,以及关于其是否重要的讨论。
已覆盖 · 学生考试成绩示例的引入。
已覆盖 · 开场展示‘离群点’标题、分数样本及散点示意图,帮助建立离群点的直观理解。
已覆盖 · 讲解学校以平均分低于35作为开设补习班的判断规则,并引出多数学生分数低于该阈值的背景。
已覆盖 · 强调在5人中,有4人低于35,但单个100分就会改变整体判断。
已覆盖 · 现场写出并计算均值(15+20+25+20+100)÷5=36。
已覆盖 · 总结当平均分超过35后,按规则不再开设补习班,并点明离群点对基于均值的决策所造成的影响。
已覆盖 · 引入‘离群值’标题、分数样本、均值算式,以及散点图中的离群点。
已覆盖 · 将100替换为20,重新计算平均值,并展示平均值大幅下降。
已覆盖 · 用35作为阈值比较36和20,说明决策会因离群值而反转。
已覆盖 · 用散点图和两条拟合线说明离群值会将模型趋势拉偏。
已覆盖 · 结尾口头收束,无新增数学内容。
已覆盖 · 片段内所有可见的数学相关内容均已提取。
已审核的主题路径
用典型值替换异常值消除了数据集总和中的极端膨胀。这会导致算术平均值显著下降,反映出大多数数据的真实集中趋势。
适用条件:原始数据集包含异常值。;替换值与大多数数据一致。;样本量保持不变。
模型试图拟合数据的总体趋势。当存在异常值时,拟合算法试图最小化所有点(包括极端点)的误差。
适用条件:数据可以表示为二维散点图。;模型试图拟合总体趋势。;存在明显远离主簇的观测值。
决策规则基于将班级平均分与固定阈值进行比较。异常值人为地将平均值抬高到阈值以上,阻止班级获得帮助。
适用条件:决策规则是:只有当平均分低于 35 时才开设额外课程。;数据集包含异常值。;阈值固定在 35。
异常值是与数据集中的大多数数据点相比,取值非常小或非常大的不寻常或极端的数据点。在散点图中,它表现为明显偏离主数据簇的点。
适用条件:适用于包含记录、观测值、样本或数据点的任何数据集。
算术平均值对异常值很敏感。单个极端分数会将总体平均值拉高至阈值以上,从而掩盖了大多数个人分数仍低于阈值并需要额外帮助的事实。
适用条件:决策规则完全依赖于班级平均分。;数据集包含显著的异常值。;阈值设定为 35。
在散点图中,异常值被识别为远离主数据簇的单个数据点。它们在空间上与大多数数据分离,并且通常严重偏离总体趋势或回归线。
适用条件:存在二维坐标系和一组数据点。;数据点形成一个可识别的主簇。
要计算算术平均值,请将集合中的所有数字相加以求出总和,然后用该总和除以集合中数字的个数。
适用条件:数据集包含有限数量的值。;所有值都是数值。
算术平均值将所有观测值同等地纳入总和。单个极端值会显著增加总和,当除以样本量时,会将平均值拉高,并可能导致其超过预定义的阈值。
适用条件:使用算术平均值作为汇总统计量。;样本由有限的一组数值组成。;存在决策阈值。