基础比率谬误
一种常见的认知错误,指人们在评估概率时仅依据事件与刻板印象的匹配程度(代表性启发法),而忽略了相关类别的基础频率(基础比率)。
3Blue1Brown · YouTube · 15:11
本视频通过经典的“图书管理员与农民”问题引入贝叶斯定理,展示了人类直觉如何因忽视先验概率(基础比率)而产生偏差。利用代表性样本网格进行几何推导,计算出后验概率约为16.7%,并由此形式化地导出了包含先验、似然和后验的完整代数公式。 本视频片段探讨了如何通过几何表示和自然频率使贝叶斯概率更加直观。首先,它将联合概率 可视化为样本空间内矩形的面积。接着,讨论转向认知心理学,对比了抽象百分比与具体的“百人中有多少”计数,解释了人们为何常陷入合取谬误(以经典的琳达问题为例)。通过将概率重构为人数的比例或几何面积,视频揭示了贝叶斯定理的本质:它仅仅是在证据成立的案例中计算假设也成立的比例。最后,针对基于性格特征的问题中先验概率模糊性的批评进行了回应,指出虽然背景会影响初始信念,但证据的作用应当是更新而非武断地决定我们的看法。
在学习检查器中查看要点和时刻,或切换阅读标签查看完整笔记。
依据视频画面与讲解整理,并非逐字语音转写。
贝叶斯定理是科学发现、机器学习乃至寻宝的核心工具。理解它需要掌握三个层面:符号含义、原理逻辑以及应用场景。我们从一个关于人物Steve的经典认知偏差实验开始。
Steve的描述容易让人联想到图书管理员。视频采用一个说明基础比率的设定:只考虑图书管理员与农民两类,后者人数是前者20倍。这是示例的背景假设,不能将性格匹配直接当作职业后验概率,也不把该比率当作当前现实职业统计。
为了理清思路,设想一个由210人组成的总体:10名图书管理员和200名农民。假设40%的图书管理员符合Steve的描述,而只有10%的农民符合。这意味着有4名匹配的图书管理员和20名匹配的农民。在所有24名符合条件的人中,只有4人是图书管理员。因此,给定证据下Steve是图书管理员的概率仅为16.7%,远低于直觉预期。
我们将此计算过程形式化。设H为假设“Steve是图书管理员”,E为证据“符合描述”。项是先验概率。项P(E|H)=0.4是似然度——即假设为真时观察到该证据的概率。同样,P(¬H)P(E|¬H)处理了假设为假的另一种情况。 这里的先验指这两类组成的示例总体,且观察事件必须满足。
结合这些项即可得到贝叶斯定理的完整展开式:P(H|E)等于先验概率乘以似然度,除以所有互斥假设下的此类乘积之和。分母代表了无论哪个假设为真,观察到该证据的总概率。这个结果P(H|E)被称为后验概率——即纳入新数据后的更新信念。
我们首先从贝叶斯定理背后的几何意义入手。观察分子中的项 。在几何上,这代表两个事件的交集:假设 为真且证据 发生。如果我们将整个样本空间视为一个大正方形,那么先验概率 定义了一个垂直条带的宽度,而似然度 定义了该条带内部阴影区域的高度。将这两个维度相乘,就得到了左上角矩形的确切面积。这个面积精确对应于联合概率——即假设和证据同时发生的几率。将概率可视化作为物理面积,有助于将抽象公式扎根于空间现实中。
为了更好地理解人类直觉,让我们暂时脱离纯代数运算。一种强大的技巧是想象一个代表性样本——一组特定数量的人,而不是处理抽象比率。例如,不要思考百分比,而是设想由210人组成的群体,分为图书管理员和农民。这种方法符合心理学家丹尼尔·卡尼曼和阿莫斯·特沃斯基的研究发现。他们指出,使用具体的人数来构建统计问题,比使用孤立的概率能显著提高判断的准确性。当我们将推理锚定在固定的样本量上时,复杂的条件关系就变成了有形的计数,从而减轻了认知负担并减少了概率判断中的常见错误。
琳达问题比较“银行出纳员”与“银行出纳员且参与女权运动”。第二个事件是第一个的子集,因此概率不可能更大:。叙述匹配可能让人忽略集合包含关系;不需要断言两个事件的概率一定严格不同。
把问题改写为“100个符合描述的人中,各有多少人属于这些类别”,会更容易看出子集关系。视频报告了其所述实验中的错误率下降,说明频数表达有助于推理;这不是所有人、所有问题都零错误的保证。子集人数至多等于母集合人数。
虽然计数人数适用于离散事件,但现实世界的现象通常涉及连续变量,如天气模式或测量公差。在这些情况下,将概率表示为点阵变得笨拙。此时,几何提供了更好的替代方案。想象一个条形图,其宽度代表时间或强度,着色部分指示降雨的可能性。随着条件的连续变化,晴朗和多雨结果之间的边界在画布上平滑移动。与静态图标不同,几何区域自然地容纳微小的变化。此外,在纸上草绘这些区域提供了即时的视觉反馈循环,使得在进行手动计算时更容易操作方程并发现不一致之处,而不必完全依赖符号操纵。
回到贝叶斯定理本身,通过比例的视角来看待它使其含义几乎不言自明。公式表明后验概率 等于联合概率 除以边缘概率 。翻译成通俗语言:首先,只关注那些证据 已经发生的案例。然后,在那个过滤后的子组中,计算满足假设 的比例是多少。无论你是通过人群中的人头计数还是屏幕上的像素测量来计算这个比例,底层的算术保持不变。认识到这种结构的简单性将一个令人生畏的方程转化为根据观察结果过滤数据的直接指令。 条件化需要证据区域面积为正。
批评者有时认为,将基础比率应用于个人档案(如史蒂夫图书管理员/农民谜题)忽略了语境的模糊性。史蒂夫究竟是谁?他是从全国人口普查数据中随机抽取的吗?还是观察者亲自认识的人?这些问题强调了先验概率是受背景知识影响的主观起点。改变关于源总体的假设会改变图表中的基线宽度。同样,调整刻板印象会影响似然矩形的相关高度。然而,无论最初在哪里划分界限,更新的机制保持恒定。证据不会立即决定绝对真理;相反,它在光谱上推动现有的信念。掌握灵活先验与硬数据之间动态相互作用构成了理性推断的本质。
一种常见的认知错误,指人们在评估概率时仅依据事件与刻板印象的匹配程度(代表性启发法),而忽略了相关类别的基础频率(基础比率)。
在纳入该证据之前的假设概率,本例是在设定的两种职业总体中取。抽样总体与背景信息改变,先验也可能改变。
在假设成立的前提下,观察到特定证据的条件概率。它衡量数据与模型的兼容程度。
考虑到新证据之后,对假设成立的修正概率。它将先验信念与证据强度相结合。
在此作为贝叶斯规则的分母使用。它对每种可能的假设(真或假)下证据发生的联合概率求和,以归一化分布。
在贝叶斯定理的几何解释中,先验概率 与似然度 的乘积对应于矩形子区域的面积。该面积物理上代表了在整个样本空间中假设和证据同时发生的联合概率。
一种逻辑错误,个体判断组合事件(例如“银行出纳员且女权主义者”)比其组成部分之一(“银行出纳员”)更可能发生。这违反了概率公理,因为集合的交集永远不可能大于任何一个原始集合。
使用同一参考总体中的人数表示概率,有助于看清条件筛选与集合包含关系。它是有用的表达方式,不是普遍消除推理错误的定理。
贝叶斯定理通过在已由证据()确认的案例宇宙中,计算支持假设()的案例所占的比例来得出后验概率 。它回答的问题是:既然 发生了,那个领域中有多少重叠于 ?
初始信念(先验)严重依赖于语境定义——例如,对象是被假定为随机陌生人还是私人熟人。虽然可辩论的语境改变了基线分布,但正确使用证据会系统地更新这些观点,而不是任意替换它们。
当个体判断组合事件(既是银行出纳员又是女权运动积极分子)的概率高于其组成部分之一(是银行出纳员)的概率时,合取谬误就表现出来了。从数学上看,第二个事件是第一个事件的子集,因此 。
适用条件:比较子集事件与其超集事件的概率;事件的定义使得一个包含在另一个之中
计算假设总人口为210人:10名图书管理员和200名农民。已知40%的图书管理员符合描述(产生4名匹配的图书管理员),而10%的农民符合描述(产生20名匹配的农民),总共有24个匹配项。
适用条件:总体仅由比例为1:20的图书管理员和农民组成;似然率设定为图书管理员40%,农民10%;条件化要求
在这个双类别示例中,先验 是在看到证据之前假设“Steve是图书管理员”的概率,根据规定的人口计算为 。似然率 是在假设成立的情况下证据“符合描述”的概率,规定为 0.4。
适用条件:假设 H:“Steve是图书管理员”;证据 E:“符合描述”;人口假设:10名图书管理员,200名农民;似然率假设:图书管理员40%,农民10%
在几何模型中,总样本空间被表示为一个大的正方形。先验概率 决定了代表假设的垂直条带的宽度,而似然率 决定了该条带内发生证据的阴影区域的高度。
适用条件:总样本空间归一化为单位面积;事件 H 和 E 被视为可测量的子集
对于连续变量如天气模式或测量公差,将概率表示为点网格变得非常麻烦。几何通过使用面积(例如,条形图,其中宽度代表时间/强度,颜色指示可能性)提供了更好的替代方案。
适用条件:变量是连续的而不是离散的;需要将概率可视化以便直观理解
批评者指出,先验受背景知识影响的主观起点。源群体的定义非常重要:Steve是从国家人口普查数据中随机抽取的还是观察者认识的个人,这会改变概率图中的基线宽度。
适用条件:将基础比率应用于特定个人档案;抽样框(随机与熟人)存在歧义
使用自然频率(例如,固定人口如210人中的计数)来构建问题与心理学家卡尼曼和特沃斯基的发现一致。具体的人数使复杂的条件关系变得有形,减少了认知负荷。
适用条件:问题涉及条件概率或贝叶斯推断;比较的是自然频率框架与百分比/概率框架
从结构上看,贝叶斯定理首先要求你将注意力限制在仅出现证据 的案例中。然后,在该过滤后的子群中,计算满足假设 的比例是多少。
适用条件:证据 E 已经发生(条件化);边缘概率