数学建模 / 英语

信息论导论：熵——第6部分——条件熵

Joseph Lizier · YouTube · 8:46

YouTube · Joseph Lizier原视频

选中时刻 · 1:30 · 章节点是时间参考，不表示实时播放进度。

视频中的要点

01条件意外度定义
02条件熵定义
03熵的关系公式

来自学习笔记

h(x|y) = -\log_2 p(x|y)

条件意外度定义

选中时刻

与联合熵及边缘熵的关系

建议预备知识

基础概率论（联合概率与条件概率）
香农熵（单变量）
对数（底数为2）
香农熵（ $H(X)$ ）
联合概率分布 $p(x,y)$
条件概率 p(x|y)
以2为底的对数
基础概率论与随机变量
熵 $H(X)$ 的定义
联合熵 $H(X,Y)$ 的定义
统计独立性的概念
对数与概率分布
基本概率分布
随机变量与样本
自信息／意外度
离散信源的香农熵
联合分布 $p(x,y)$
马尔可夫链的初步概念
基础概率论
对数函数

阅读与收藏

把讲解展开来看。

被收藏 0

已审核学习内容 · 视频分析 · 中文

阅读完整概览

本讲段落介绍了信息论中条件熵的概念。主讲人借助一张静态演示幻灯片，将条件意外度与条件熵定义为：当另一随机变量 Y 已知时，对随机变量 X 所剩余不确定性的度量。该段落强调了一个基本关系：条件熵等于联合熵减去边缘熵，并同时提供了直观解释与严格的数学定义。本讲段引入条件熵的概念，将其数学定义为：在已知变量Y的情况下，对变量X所剩余的平均惊讶程度。随后，主讲人转向使用维恩图进行直观讲解——图中圆圈分别表示边缘熵 $H(X)$ 和 $H(Y)$ ；联合熵 $H(X,Y)$ 对应两个圆圈的并集，而互信息I(X;Y)则对应其交集。尤为重要的是，主讲人指出：由于存在重叠区域，联合熵并非边缘熵的简单相加；同时将条件熵H(X|Y)与H(Y|X)定义为两个圆圈中互不重叠的‘新月形’区域，用以表示各自独有的不确定性。本讲段介绍条件熵 H(X|Y)，即在观测到 Y 后关于 X 所剩余的平均不确定性。重点性质包括：条件熵介于0与 $H(X)$ 之间；当且仅当 X 与 Y 相互独立时，条件熵等于 $H(X)$ ；当 X 完全由 Y 决定时，条件熵等于0。文氏图直观呈现了联合熵、边缘熵与条件熵之间的关系。本段最后以英文文本字符编码为例，应用这些概念，并提出问题：何种条件变量可缩短编码长度？这段120秒的视频片段涵盖了一节介绍性信息论课程中关于条件熵的结尾部分。第一张幻灯片将条件熵定义为“在已知 Y 的前提下，X 中剩余的平均意外性”，给出了恒等式 h(x|y)= $h(x,y)-h(y)$ 和 H(X|Y)= $H(X,Y)-H(Y)$ ，并用维恩图加以说明。主讲人将该概念应用于英文文本编码，解释前一个字母的上下文（一种马尔可夫链思想）会降低不确定性，并以 Q 后接 U 作为关键示例，同时指出更低的 H(X|Y) 对应更短的编码长度。随后出现一张简短的练习幻灯片，要求学生根据联合概率矩阵在 MATLAB 中实现 conditionalentropy(p)，并验证若干简单测试用例。最后一张幻灯片总结了本讲的主题——不确定性、意外性、熵（即 -p log p）以及如何计算熵——并宣布下一主题将是信息度量。本视频片段对信息论的入门概念进行了概括。主讲人回顾了熵的数学定义，即负的概率乘以该概率的对数（-p log p），并将其解释为事件发生前的平均意外度或不确定性。同时，也再次介绍了香农信息量（-log p）的概念。最后，主讲人强调了一个基本关系：信息本质上是不确定性的减少，从而为接下来关于如何度量信息的主题做好铺垫。

在学习检查器中查看要点和时刻，或切换阅读标签查看完整笔记。

章节

0:00条件熵导引 0:45定义条件意外度与条件熵 1:30与联合熵及边缘熵的关系 2:00条件熵的数学定义 2:16用维恩图可视化熵 3:09联合熵与互信息 3:37条件熵的几何解释 4:00条件熵定义与文氏图 4:10条件熵的性质与界限 4:40独立性与条件熵为零的情形 5:15英文文本编码的应用 6:00条件熵的定义与恒等式 6:12英文文本编码与马尔可夫链上下文 6:25

Q\to U

示例与不确定性降低 6:54条件熵与编码长度 7:13关于 conditionalentropy(p) 的 MATLAB 练习 7:17课程小结与下一主题 8:00不确定性与意外度回顾 8:12熵的数学定义 8:28信息即不确定性的减少

学习解说文稿

依据视频画面与讲解整理，并非逐字语音转写。

讲座首先回顾了从单变量熵到联合熵的过渡过程，后者用于同时刻画多个变量的不确定性。

主讲人提出一个关键问题：若我们已掌握某个相关变量的部分信息，这将如何改变我们对目标变量 X 的不确定性？

为回答这个问题，引入了条件熵的概念。它用于量化在观测到 Y 后，关于 X 所剩余的不确定性或“意外程度”。

符号说明如下：小写 h(x|y) 表示针对具体取值 x 和 y 的条件意外度，定义为 -\log_2 p(x|y)。

大写 H(X|Y) 表示平均不确定性，即条件熵，其计算方式是对联合分布下的条件意外度取期望。

幻灯片与讲解确立了一个基本关系：条件熵等于联合熵 $H(X,Y)$ 减去边缘熵 $H(Y)$ 。

术语‘边缘’用于描述单个变量（如 Y）在更大联合系统中所具有的熵。

本段最后指出 H(X|Y) 的显式求和公式：该公式以联合概率 $p(x,y)$ 为权重，对条件意外度进行加权平均。

讲座首先对条件熵的概念进行形式化定义。幻灯片展示了该定义：在已知样本 $x$ 的条件下，关于样本 $X$ 的剩余平均惊讶度 $y$ of $Y$ 数学表达式显示为：对于特定实例， $h(x|y) = -\log_2 p(x|y)$ ；而其期望值为 $H(X|Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}$ ，用于表示平均值。这表明我们是在联合概率空间上对条件自信息取平均。

为建立直观理解，主讲人转而采用维恩图进行图形化表示。首先绘制一个红色圆圈，代表边缘熵 $H(X)$ ，象征变量 $X$ 所固有的全部不确定性。

接着，为主讲人添加一个蓝色圆圈，代表变量 $Y$ ，象征 $H(Y)$ 。关键在于，这两个圆圈被绘制成相互重叠的形式。主讲人解释道：在一般情况下，变量之间共享信息，因此其不确定性集合存在交集；非重叠部分表示各自独有的信息，而重叠部分则表示共享的信息。

图中添加了标注以标识关键的复合度量。标记 $H(X,Y)$ 指向两个圆的并集整体，定义为联合熵。标记 $I(X;Y)$ 特指两圆的交集，定义为互信息。讲解者强调，若仅将两个圆的面积（ $H(X) + H(Y)$ ）简单相加来计算联合熵，则是错误的，因为这会重复计算交集部分。正确做法是： $H(X,Y)$ 等于三个互不重叠区域之和，即左弯月形、交集以及右弯月形。

最后，将条件熵的概念映射到几何图示中。标签 $H(X|Y)$ 指向左侧新月形区域——即红色圆圈中*不*与蓝色圆圈重叠的部分。该图直观地表明，条件熵是 $X$ 中在扣除由 $Y$ （即交集部分）所提供的信息后所剩余的不确定性。类似地， $H(Y|X)$ 被标识为右侧新月形区域。

本段以一幅文氏图开篇，图中展示了联合熵 $H(X,Y)$ 、边缘熵 $H(X)$ 与 $H(Y)$ 、以及条件熵 $H(X|Y)$ 与 $H(Y|X)$ 之间的关系。红色圆圈代表 $H(X)$ ，蓝色圆圈代表 $H(Y)$ ，二者交集为联合熵，非重叠的新月形区域则表示条件熵。

主讲人指出一个基本性质：平均条件熵恒被 $0 \le H(X|Y) \le H(X)$ 所界定。这意味着，平均而言，获知 $Y$ 的取值不会增加我们对 $X$ 的不确定性——它只会减少该不确定性，或使其保持不变。下界为零反映了熵不可能为负。

一个重要特例出现在 $H(X|Y) = H(X)$ 时。该等式成立当且仅当 $X$ 与 $Y$ 统计独立，即获知 $Y$ 完全无法提供关于 $X$ 的任何信息。

在另一个极端情况下，当 $H(X|Y) = 0$ ，关于 $X$ 的剩余不确定性为零 $Y$ 一旦 $H(X|Y)$ 区域完全消失—— $X$ 中的全部信息都包含在 $Y$ 中，意味着 $X$ 是 $Y$ 的确定性函数。

讲座转入一个实际示例：英文文本字符的编码。一张概率表列出了英文各字母的香农信息量。提出的问题是：何种条件变量 $Y$ 可使 $H(X|Y)$ 低于 $H(X)$ ，从而实现条件编码下的更短码长？尽管具体答案暂未给出，但概念联系已然建立：正如熵代表编码长度，条件熵则代表接收方具备先验知识时的条件编码长度。

视频片段以一张标题为“条件熵”的幻灯片开始。中央定义同时以文字和符号形式呈现：条件熵是指当已知变量 Y 的样本 y 时，关于变量 X 的样本 x 所剩余的平均惊讶程度。其下方印有两个恒等式：逐点关系式 $h(x|y)=h(x,y)-h(y)$ 与平均熵关系式 $H(X|Y)=H(X,Y)-H(Y)$ 。

维恩图强化了第二个恒等式。两个圆圈的重叠区域标记为 $H(X,Y)$ ，右侧圆圈为 $H(Y)$ ，左侧圆圈为 $H(X)$ ，左侧圆圈中不与重叠区域相交的部分为 $H(X|Y)$ 。从视觉上看，本讲将条件熵呈现为联合不确定性中尚未被 Y 解释的那一部分。

讲师随后转向示例1：对英文文本中的字符进行编码。幻灯片上的问题是：应选择何种上下文变量 Y，才能降低 $H(X|Y)$ ，从而缩短对输入字符 X 进行条件编码所需的码长。在讲解中，讲师指出前一个字母即为此上下文，并将字母序列描述为马尔可夫链，即下一个字符出现的概率依赖于前面的字符。

关键的直观示例是二元组 Q 后接 U。讲师指出，在看到 Q 之后，人们基本可以确定下一个字母将是 U，因此剩余的不确定性极低。从信息论角度看，给定前一个字符为 Q 时，下一个字符的条件熵很小，因为观察到 U 所带来的惊讶程度很小。

由此例出发，讲师引出更普遍的结论：对于英语文本这类具有相关性的信源，符号在其上下文条件下的条件熵，通常低于该符号的无条件熵。其实际意义在于编码效率：若解码器已知晓上下文，则编码器平均只需更少的比特数即可指定下一个符号。

幻灯片切换至一道练习题页面，标题仍为“条件熵”。学生需修改 MATLAB 函数 conditionalentropy(p)，使其能根据给定的联合概率矩阵 p（假定为2D，其元素为 $p(x,y)$ ）返回 X 关于 Y 的条件熵。提示建议复用已有的 entropy() 和 jointentropy() 函数，这与之前展示的恒等式 $H(X|Y)=H(X,Y)-H(Y)$ 一致。

给出了两个明确的测试用例：conditionalentropy([0.5,0;0,0.5]) 应等于0，conditionalentropy([0.25,0.25;0.25,0.25]) 应等于1。另有一道提示要求学生在“猜人物”游戏中比较 H(性别|耳环) 与 H(耳环|性别)，强调条件熵在其两个参数上未必具有对称性。

最后一张幻灯片为标题为“信息论导论：小结”的总结页。其要点包括：本课程已引入不确定性与惊讶的概念，将熵解释为 $-p\log p$ ，讲授了熵的计算方法，并将在下一阶段转向信息度量的学习。讲师的结束语与此结构一致，回顾指出：惊讶属于单个具体实现，而不确定性则指代所有可能取值所构成的整体分布。

主讲人首先回顾了在观察某个结果之前，平均意外度与不确定性这两个直观概念。

从数学上讲，熵被定义为 $-p \log p$ 。主讲人指出，虽然 $-\log p$ 表示单个事件的香农信息量或意外度，但熵则是所有可能结果对应之值的平均。

转向信息论的核心思想，主讲人指出：信息本质上是不确定性的减少，并将二者描述为同一枚硬币的两面。这为后续讨论如何度量信息作了铺垫。

知识卡片

条件意外度定义

用于度量在已知结果 y 发生的前提下，观察到结果 x 所带来的特定意外程度。其计算方式为条件概率的负底数为2的对数。

h(x|y) = -\log_2 p(x|y)

条件熵定义

表示在观测到随机变量 Y 后，关于随机变量 X 所剩余的平均不确定性。它是条件意外度的期望值。

H(X|Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}

熵的关系公式

展示了如何通过从两个变量的联合熵中减去已知变量的边缘熵，来计算条件熵。

H(X|Y) = H(X,Y) - H(Y)

条件熵公式

定义为条件自信息的期望值。它量化了在已知Y的前提下，X的平均不确定性。

H(X|Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}

熵维恩图基础

边缘熵 $H(X)$ 与 $H(Y)$ 分别用两个圆表示。它们的重叠部分表示共享信息（即互信息），而两圆的并集则表示联合熵。

联合熵与重复计数

联合熵 $H(X,Y)$ 等于两圆并集的面积。它*不等于* $H(X) + H(Y)$ ，因为后者将交集部分计算了两次。正确的表达式为： $H(X,Y) = H(X) + H(Y) - I$ (X;Y)。

条件熵的可视化

在维恩图中，H(X|Y)对应于X所在圆中剔除交集后的‘弯月形’区域。它表示X中*未被Y所解释*的不确定性。

条件熵定义

条件熵 $H(X|Y)$ 衡量在观测到随机变量 $X$ 后，关于随机变量 $Y$ 的平均剩余不确定性。它通过链式法则定义为 $H(X|Y) = H(X,Y) - H(Y)$ ，其中 $H(X,Y)$ 是联合熵，而 $H(Y)$ 是 $Y$ 的边缘熵。对于单个样本，条件自信息为 $h(x|y) = h(x,y) - h(y) = -\log_2 p(x|y)$ 。

H(X|Y) = H(X,Y) - H(Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}

条件熵的界

条件熵满足 $0 \le H(X|Y) \le H(X)$ 。上界表明：平均而言，知晓 $Y$ 永远不会增加关于 $X$ 的不确定性——它只会减少该不确定性，或使其保持不变。下界为零表明，条件熵不可能为负，这与普通熵一致。这一性质至关重要，它说明：平均而言，信息只能帮助、而不会损害我们的预测能力。

0 \le H(X|Y) \le H(X)

独立性的刻画

等式 $H(X|Y) = H(X)$ 成立当且仅当 $X$ 和 $Y$ 在统计上相互独立。此时，观测 $Y$ 不提供关于 $X$ 的任何信息，因此条件分布 $p(x|y)$ 等于边缘分布 $p(x)$ 对所有 $y$ 成立。这从熵的角度刻画了独立性：当且仅当以一个变量为条件不会降低对另一个变量的不确定性时，这两个变量相互独立。

H(X|Y) = H(X) \iff X \perp Y

零条件熵

当 $H(X|Y) = 0$ 时，一旦 $X$ 已知，关于 $Y$ 就不再存在任何不确定性。这种情况成立当且仅当 $X$ 是 $Y$ 的确定性函数—— $X$ 中的所有信息完全包含在 $Y$ 在维恩图表示中， $H(X|Y)$ 月牙形区域消失，仅剩下交集 $H(X,Y) = H(X)$ 。这表示 $Y$ 对 $X$ 的最大预测能力。

H(X|Y) = 0 \iff X = f(Y) \text{ for some function } f

维恩图解释

熵的维恩图提供几何直观：两个圆的并集表示联合熵 $H(X,Y)$ ，每个完整圆表示边缘熵（红色圆为 $H(X)$ ，蓝色圆为 $H(Y)$ ），交集部分表示共享信息（即互信息），而非重叠的新月形区域则分别表示条件熵 $H(X|Y)$ （左侧，仅红色区域）和 $H(Y|X)$ （右侧，仅蓝色区域）。当 $H(X|Y)=0$ 时，左侧新月形区域消失；当 $X \perp Y$ 时，两圆互不重叠。

在文本编码中的应用

在对英文文本字符进行编码时，若 $X$ 为下一个字符，且我们能找到一个条件变量 $Y$ （例如前序字符或词语上下文），使得 $H(X|Y) < H(X)$ 成立，则可采用条件编码方式，从而实现平均更短的码长。这体现了条件熵的实际价值：正如 $H(X)$ 给出了无约束编码下的最小平均码长， $H(X|Y)$ 则给出了当发送方与接收方均已知 $Y$ 时的最小平均码长。本例提出了如何识别此类 $Y$ 的问题，但本节并未给出答案。

条件熵：定义

讲座将条件熵定义为：在已知变量Y的一个样本y之后，对变量X的一个样本x所剩余的平均惊讶程度。在文本编码示例中，X表示下一个字符，Y表示前一个字符，因此H(X|Y)衡量的是利用上下文后所剩余的不确定性。

H(X|Y)

逐点链式法则与平均链式法则

幻灯片上展示了两个相关恒等式：在结果层面，条件自信息满足h(x|y)= $h(x,y)-h(y)$ ；对联合分布取平均后，对应的熵恒等式为H(X|Y)= $H(X,Y)-H(Y)$ 。

h(x|y) = h(x,y) - h(y), \quad H(X|Y) = H(X,Y) - H(Y)

维恩图解释

维恩图将重叠区域标记为 $H(X,Y)$ ，右侧圆圈标记为 $H(Y)$ ，左侧圆圈标记为 $H(X)$ ，仅左侧区域标记为H(X|Y)。这提供了联合不确定性在共享部分与条件部分之间的直观分解；但应将其理解为熵关系的记忆辅助图，而非字面意义上的集合隶属关系。

英文文本编码示例

讲师将条件熵应用于英文文本中字母的编码。选取前一个字母作为上下文Y，会改变下一个字母X的概率模型，从而降低H(X|Y)，并缩短条件编码器对下一个字符所需的平均码长。

Q后面通常跟着U

具体例子是：在看到Q之后，下一个字母极大概率是U。由于U紧随Q出现所带来的惊讶程度很小，因此在已知Q的前提下，下一个字符的条件熵非常低。这支持了更普遍的论断：在自然语言信源中，上下文通常能降低不确定性。

条件熵与码长

条件熵越低，意味着在已知上下文后，还需传输的剩余信息就越少。幻灯片与讲解明确将H(X|Y)与对新来字符进行条件编码所需的码长联系起来。

关于条件熵(p)的 MATLAB 练习

该练习要求学生基于一个2D 联合概率矩阵 $p(x,y)$ 实现 conditionalentropy(p)，并提示可复用 entropy() 和 jointentropy() 函数。打印出的检验示例包括 conditionalentropy([0.5,0;0,0.5])=0 和 conditionalentropy([0.25,0.25;0.25,0.25])=1，此外还通过‘猜猜我是谁’（Guess Who!）游戏对比了 H(性别|耳环) 与 H(耳环|性别)。

课堂小结

结束页幻灯片将本次导论课总结为：涵盖不确定性、意外性、熵的含义（即 -p log p），以及熵的计算方法，并预告下一主题将是信息的度量。

-p \log p

熵的公式

熵在数学上被量化为 $-p \log p$ 。它表示事件发生或进行一次‘抽取’之前的平均意外度，或不确定性程度。

-p \log p

香农信息量

又称意外度，某一特定事件的香农信息量定义为 $-\log p$ ，其中 $p$ 是该事件发生的概率。

-\log p

信息与不确定性

在信息论中，信息被定义为不确定性的减少。主讲人指出，这两个概念本质上紧密相连，堪称‘同一枚硬币的两面’。

详细学习笔记

按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。

符号定义 · 34

X

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在 H(X|Y) 等表达式及文字“X 的样本 x”中显示大写字母 X。

符号

含义

其不确定性正被考察的离散随机变量。

适用范围

离散随机变量

Y

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在 H(X|Y) 和 $h(y)$ 等表达式中显示大写字母 Y。

符号

含义

另一个离散随机变量，已知或已被观测到，它为 X 提供信息。

适用范围

离散随机变量

x

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在 h(x|y) 及求和指标 $x \in A_x$ 中使用小写字母 x。

符号

含义

随机变量 X 的一个具体实现值或样本值。

适用范围

X 的实现值

y

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在 h(x|y) 及求和指标 $y \in A_y$ 中使用小写字母 y。

符号

含义

随机变量 Y 的一个具体实现值或样本值。

适用范围

Y 的实现值

h

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片定义 h(x|y) = -\log_2 p(x|y)。

符号

含义

自信息（或意外度）函数；小写字母表示某一具体实现值。

适用范围

返回标量值的函数

H

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片将 H(X|Y) 定义为对联合概率取平均。

符号

含义

熵函数；大写字母表示对随机变量的期望值（平均值）。

适用范围

返回标量值的函数

p

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在公式中使用了 $p(x,y)$ 和 p(x|y)。

符号

含义

概率质量函数； $p(x,y)$ 是联合概率，p(x|y) 是条件概率。

适用范围

概率函数

$A_x$ , $A_y$

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了对 $x \in A_x$ 和 $y \in A_y$ 的求和。

待核验内容

视频未明确定义集合 $A_x$ 和 $A_y$ ，但它们分别表示变量的字母表或支撑集。

符号

$A_x$ , $A_y$

含义

分别为随机变量 X 和 Y 的字母表（即可能取值的集合）。

适用范围

离散取值的集合

h(x|y)

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了公式 h(x|y) = -log_2 p(x|y)。

符号

h(x|y)

含义

在随机变量 Y 取特定样本 y 的条件下，随机变量 X 取特定样本 x 的条件香农信息量（意外度）。

适用范围

实数，非负。

H(X|Y)

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了公式 H(X|Y) = $\sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}$ 。

符号

H(X|Y)

含义

在随机变量 Y 条件下，随机变量 X 的平均条件熵。

适用范围

实数，非负。

p(x|y)

依据清楚

视频直接表达

来源依据

公式
观察依据
出现在条件熵公式对数的分母中：p(x|y)。

符号

p(x|y)

含义

在事件 y 发生的条件下，事件 x 发生的条件概率。

适用范围

区间 [0, 1]。

$p(x,y)$

依据清楚

视频直接表达

来源依据

公式
观察依据
作为双重求和中的加权因子出现： $p(x,y)$ 。

符号

$p(x,y)$

含义

事件 x 和事件 y 同时发生的联合概率。

适用范围

区间 [0, 1]。

知识点 · 21

条件意外度

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了公式 h(x|y) = -\log_2 p(x|y)。

定义

解释

条件意外度（又称条件自信息）用于度量在已知变量 Y 取值为 y 的前提下，观察到变量 X 取值为 x 所带来的特定意外程度。它由条件概率 p(x|y) 定义。

公式

h(x|y) = -\log_2 p(x|y)

适用条件

p(x|y) 大于 0

先修条目

联合意外度

条件熵

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了公式 H(X|Y) = $\sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}$ 。
声音
观察依据
主讲人将其解释为：在已知关于 Y 的信息后，关于 X 所剩余的平均不确定性。

定义

解释

条件熵表示在另一个随机变量 Y 已被观测之后，关于随机变量 X 所剩余的平均不确定性。它是条件意外度在 X 和 Y 的联合分布上的期望值。

公式

H(X|Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}

适用条件

X 和 Y 是离散型随机变量

先修条目

条件意外度
联合熵

联合意外度

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片通过关系式 h(x|y) = $h(x,y) - h(y)$ 隐含地展示了 $h(x,y)$ 。

待核验内容

显式定义 $h(x,y) = -\log_2 p(x,y)$ 并未写在幻灯片上，但在该恒等式中被引用。

定义

解释

联合意外度用于度量同时观测到一对取值（x, y）时所产生的特定意外程度。它与条件意外度和边缘意外度相关。

公式

h(x,y) = h(x|y) + h(y)

适用条件

$p(x,y)$ 大于0

联合熵

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在关系式 H(X|Y) = $H(X,Y) - H(Y)$ 中展示了 $H(X,Y)$ 。

待核验内容

$H(X,Y)$ 的显式求和公式未给出，仅展示了其在该恒等式中的使用。

定义

解释

联合熵是将一对随机变量（X, Y）视为整体时，所对应的平均不确定性。

公式

H(X,Y)

适用条件

X 和 Y 是离散型随机变量

边缘熵

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在关系式 H(X|Y) = $H(X,Y) - H(Y)$ 中展示了 $H(Y)$ 。
声音
观察依据
讲话者将 $H(Y)$ 称为变量 Y 的“边缘熵”。

定义

解释

边缘熵是在联合分布背景下，针对单个随机变量所定义的熵，通过该变量的边缘概率分布计算得出。

公式

H(Y)

适用条件

Y 是一个离散型随机变量

条件熵的定义

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片文字将条件熵定义为：“在已知Y的样本y的前提下，关于X的样本x所剩余的（平均）惊讶程度”。
声音
观察依据
主讲人解释转而考察X在给定Y下的条件概率，并在X与Y的联合空间上取平均。

定义

解释

条件熵用于度量在观测到另一个随机变量Y之后，关于随机变量X所剩余的平均不确定性或惊讶程度。其计算方式是对X与Y的联合分布上的条件自信息取期望值。

公式

H(X|Y) = \sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}

适用条件

X和Y是离散型随机变量。
求和范围覆盖联合字母表〔 $A_x$ 〕 × 〔 $A_y$ 〕。

联合熵、边缘熵与条件熵之间的关系

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片显示：〔H(X|Y)〕 = 〔 $H(X,Y)$ 〕 - 〔 $H(Y)$ 〕。

公式

解释

X在给定Y下的条件熵可表示为X与Y的联合熵与Y的边缘熵之差。

公式

H(X|Y) = H(X,Y) - H(Y)

适用条件

适用于离散型随机变量X和Y。

先修条目

条件熵的定义

熵的文氏图表示

依据清楚

视频直接表达

来源依据

声音
观察依据
主讲人说：“我们可以用维恩图来表示每个变量所含的不确定性或信息量。”
动画
观察依据
红色与蓝色圆圈出现并相互重叠，构成一个维恩图，分别表示〔 $H(X)$ 〕、〔 $H(Y)$ 〕、〔 $H(X,Y)$ 〕、〔I(X;Y)〕、〔H(X|Y)〕和〔H(Y|X)〕。

方法

解释

熵量可用文氏图直观呈现：每个圆的面积表示对应变量的边缘熵；两圆并集的面积表示联合熵；交集部分的面积表示互信息；两个不重叠的新月形区域分别表示条件熵。

适用条件

仅为视觉类比；各区域面积对应以比特为单位的信息量。

先修条目

条件熵的定义

条件熵的定义

依据清楚

视频直接表达

来源依据

公式
观察依据
给定 y 时 x 的条件微分熵等于 x 和 y 的联合微分熵减去 y 的微分熵
公式
观察依据
X 在给定 Y 条件下的熵等于 X 和 Y 的联合熵减去 Y 的熵

定义

解释

条件熵表示在已知随机变量 Y 的样本 y 的前提下，对随机变量 X 的样本 x 仍剩余的平均惊讶程度。它被定义为联合熵与条件变量熵的差值。

公式

H(X|Y) = H(X,Y) - H(Y)

适用条件

X 和 Y 是离散型随机变量
对求和中的所有数对，均有 $p(x,y) > 0$

条件熵的界

依据清楚

视频直接表达

来源依据

声音
观察依据
平均条件熵恒小于或等于无条件熵
公式
观察依据
H(X|Y) 的值介于 0 和 $H(X)$ 之间（含端点）

公式

解释

条件熵介于零与无条件熵之间。获知Y的取值，平均而言会减少（或保持不变）关于X的不确定性，但不会增加它。

公式

0 \le H(X|Y) \le H(X)

适用条件

X和Y是离散型随机变量

先修条目

条件熵的定义

独立性的等号成立条件

依据清楚

视频直接表达

来源依据

声音
观察依据
我们可能发现，在给定Y的条件下X的条件熵等于X的无条件熵，这种情况发生在变量X和Y相互独立时
公式
观察依据
H(X|Y) = $H(X)$ 当且仅当 X 与 Y 相互独立

公式

解释

条件熵等于无条件熵，当且仅当这两个随机变量在统计上相互独立，即获知Y无法提供关于X的任何信息。

公式

H(X|Y) = H(X) \iff X \perp Y

适用条件

X和Y是离散型随机变量

先修条目

条件熵的定义

零条件熵的含义

依据清楚

视频直接表达

来源依据

声音
观察依据
我们的条件熵为零，仅仅意味着一旦已知Y，X中就不再存在任何意外性
公式
观察依据
H(X|Y) = 0

公式

解释

当条件熵为零时，X的全部信息都包含在Y之中；已知Y即可完全确定X，且不剩任何不确定性。

公式

H(X|Y) = 0 \implies X \text{ is a function of } Y

适用条件

X和Y是离散型随机变量

先修条目

条件熵的定义

定理与条件 · 6

联合意外度、边缘意外度与条件意外度之间的关系

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片明确指出 h(x|y) = $h(x,y) - h(y)$ 。

命题

x 在给定 y 下的条件意外度等于 x 与 y 的联合意外度减去 y 的边缘意外度。

前提

x 和 y 分别是离散型随机变量 X 和 Y 的取值

量词

对所有合法的取值 x 和 y 成立。

联合熵、边缘熵与条件熵之间的关系

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片明确指出 H(X|Y) = $H(X,Y) - H(Y)$ 。
声音
观察依据
主讲人将此解释为联合熵与边缘熵之差。

命题

X 在给定 Y 下的条件熵等于 X 与 Y 的联合熵减去 Y 的边缘熵。

前提

X 和 Y 是离散型随机变量

量词

对所有离散型随机变量 X 和 Y 成立。

联合熵与边缘熵之和的比较

依据清楚

视频直接表达

来源依据

声音
观察依据
讲解者说：“我们并不简单相加两个圆的面积，因为那样会重复计算重叠部分……联合熵不一定等于各边缘熵之和。”
图示
观察依据
箭头分别指向三个互不重叠的区域（左侧新月形、交集、右侧新月形），它们的面积之和即为标有 $H(X,Y)$ 的并集总面积。

命题

联合熵 $H(X,Y)$ 等于文氏图中三个互不相交区域的面积之和（即 H(X|Y) + I(X;Y) + H(Y|X)），该值小于或等于边缘熵之和 $H(X) + H(Y)$ ；当且仅当 X 与 Y 相互独立时取等号（此时交集为零）。

前提

X 和 Y 是由两个重叠集合表示的随机变量。

量词

对任意随机变量 X 和 Y 均成立。

熵的维恩图表示法

依据清楚

视频直接表达

来源依据

声音
观察依据
这是一种非常经典的图示方法，用于表示熵与条件熵。
图示
观察依据
维恩图：两个重叠的圆分别表示 $H(X)$ 和 $H(Y)$ ，交集部分标为 $H(X,Y)$ ，非重叠区域分别标为 H(X|Y) 和 H(Y|X)

命题

熵与条件熵可用维恩图表示，其中总面积对应联合熵，各圆面积对应边缘熵，非重叠部分对应条件熵。

前提

X 和 Y 是离散随机变量

量词

对任意一对离散随机变量 X 和 Y

在 Q 之后，下一个字母 U 的条件不确定性很低。

依据清楚

视频直接表达

来源依据

声音
观察依据
主讲人说：‘如果我们看到字母 Q，我们便相当确信下一个字母……将是 U’，以及‘遇到 U 时，我们的惊讶程度非常低’。

待核验内容

这是一个直观的语言学示例，而非形式化的定理。

命题

在英文文本中，若已知前一个字符是 Q，则下一个字符是 U 的可能性极高，因此在已知 Q 的条件下，下一个字符的条件熵非常低。

前提

该信源是英文文本。
前一个字符是 Q。

量词

在这一用于说明的英文文本示例中，若已观察到 Q，则下一个字符极有可能是 U。

上下文通常会降低熵。

依据清楚

视频直接表达

来源依据

声音
观察依据
主讲人指出，一个字符在给定其前一个字符条件下的条件熵，通常低于该字符无条件下的熵。

待核验内容

主讲人使用的是‘通常’一词，而非全称量化的定理，且本片段中未提供任何反例讨论。

命题

对于英语文本等具有相关性的信源，给定前置上下文后某个符号的条件熵通常小于其无条件熵。

前提

当前符号与其上下文之间存在统计依赖性。

量词

这是对所讨论信源模型的一般性断言，并非本片段中给出的证明。

推导与证明 · 4

从联合熵与边缘熵推导条件熵

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了推导 H(X|Y) = $H(X,Y) - H(Y)$ 的一系列等式。

待核验内容

幻灯片上并未明确写出由 h(x|y) = $h(x,y) - h(y)$ 推出熵关系式的中间代数步骤，但直接给出了该结论。

直观解释

步骤

公式
$h(x|y) = h(x,y) - h(y)$
解释
从条件意外度的定义出发：条件意外度等于联合意外度与边缘意外度之差。
步骤依据
条件意外度的定义。
视频直接表达
公式
$H(X|Y) = E[h(X|Y)]$
解释
对等式两边关于 X 和 Y 的联合分布取期望值。
步骤依据
熵的定义：熵是意外度的期望值。
依据视频推导
公式
$E[h(X,Y) - h(Y)] = E[h(X,Y)] - E[h(Y)]$
解释
根据期望的线性性质，差的期望值等于期望值的差。
步骤依据
期望的线性性质。
依据视频推导
公式
$H(X|Y) = H(X,Y) - H(Y)$
解释
将联合熵与边缘熵的定义代回方程。
步骤依据
$H(X,Y)$ 与 $H(Y)$ 的定义。
视频直接表达

结论

条件熵 H(X|Y) 可通过联合熵 $H(X,Y)$ 减去边缘熵 $H(Y)$ 计算得到。

借助文氏图分解联合熵

依据清楚

视频直接表达

来源依据

动画
观察依据
标签 $H(X,Y)$ 、I(X;Y)、H(X|Y) 和 H(Y|X) 依次指向文氏图中对应的特定区域。
声音
观察依据
讲解者说明：联合熵是三个互不重叠区域的面积之和，重叠部分不重复计算。

视觉说明

步骤

公式
$H(X) = \text{Area}(\text{Red Circle}) = \text{Left Crescent} + \text{Intersection}$
解释
X 的总熵包含 X 独有的不确定性以及 X 与 Y 共享的不确定性。
步骤依据
视觉模型中边缘熵的定义。
依据视频推导
公式
$H(Y) = \text{Area}(\text{Blue Circle}) = \text{Right Crescent} + \text{Intersection}$
解释
Y 的总熵包含 Y 独有的不确定性以及 Y 与 X 共享的不确定性。
步骤依据
视觉模型中边缘熵的定义。
依据视频推导
公式
$I(X;Y) = \text{Intersection}$
解释
重叠区域表示 X 与 Y 之间共享的信息。
步骤依据
视觉模型中互信息的定义。
视频直接表达
公式
$H(X|Y) = \text{Left Crescent} = H(X) - I(X;Y)$
解释
在已知 Y 的前提下，X 中剩余的不确定性即为 X 的圆圈中未与 Y 重叠的部分。
步骤依据
从红色圆圈中直观地减去交集部分。
视频直接表达
公式
$H(X,Y) = \text{Union} = \text{Left Crescent} + \text{Intersection} + \text{Right Crescent}$
解释
联合熵是两个圆圈所覆盖的总面积，其中交集区域仅计算一次。
步骤依据
集合论中的并集原理应用于信息度量。
视频直接表达

结论

维恩图对关系式 $H(X,Y) = H(X) + H$ (Y|X) = $H(Y) + H$ (X|Y) = I(X;Y) + H(X|Y) + H(Y|X) 提供了一致的几何解释。

熵的链式法则

依据清楚

视频直接表达

来源依据

公式
观察依据
X 在给定 Y 条件下的熵等于 X 和 Y 的联合熵减去 Y 的熵

严格证明

步骤

公式
$H(X,Y) = H(X) + H(Y|X)$
解释
联合熵可分解为边缘熵与条件熵之和
步骤依据
联合熵的定义
视频直接表达
公式
$H(X,Y) = H(Y) + H(X|Y)$
解释
联合熵的对称分解
步骤依据
联合熵的定义
视频直接表达
公式
$H(X|Y) = H(X,Y) - H(Y)$
解释
整理后得到条件熵为差值
步骤依据
代数运算
视频直接表达

结论

条件熵等于联合熵减去条件变量的熵

联合熵在视觉上被分解为条件部分与边缘部分。

依据清楚

视频直接表达

来源依据

图示
观察依据
维恩图中，重叠区域标记为〔 $H(X,Y)$ 〕，右侧圆圈标记为〔 $H(Y)$ 〕，仅左侧区域标记为〔H(X|Y)〕，左侧圆圈标记为〔 $H(X)$ 〕。
公式
观察依据
幻灯片同时显示〔H(X|Y)= $H(X,Y)-H(Y)$ 〕。

待核验内容

本片段给出了该恒等式及其视觉类比，但并未从期望值出发进行代数推导。

视觉说明

步骤

公式
$H(X,Y)$
解释
重叠区域被标识为 X 与 Y 的联合熵。
步骤依据
在维恩图中直接标出。
视频直接表达
公式
$H(Y)$
解释
右侧圆圈被标识为 Y 单独的熵。
步骤依据
在维恩图中直接标出。
视频直接表达
公式
$H(X|Y)$
解释
左侧圆圈中位于重叠区域之外的部分被标识为在 Y 条件下的 X 的条件熵。
步骤依据
在文氏图中直接标出。
视频直接表达
公式
$H(X|Y) = H(X,Y) - H(Y)$
解释
幻灯片上写出了与图示分解相对应的减法关系。
步骤依据
公式印在与图示相同的幻灯片上。
视频直接表达

结论

图示与公式共同将条件熵呈现为联合不确定性中尚未被 Y 解释的部分。

例题详解 · 3

英文文本中字符的编码

依据清楚

视频直接表达

来源依据

声音
观察依据
此处举一个例子，回到对英文文本中字符编码的分析
图示
观察依据
表2.9展示了英文字符的香农信息量，含概率与自信息值

待核验内容

提出一个特定变量Y可降低H(X|Y)，但本片段未给出答案

题目

什么变量Y能降低英文文本中字符X的不确定性，从而缩短条件编码的码长？

已知条件

X代表英文文本中的一个字符
提供了英文字符的香农信息量表

目标

找出一个能降低条件熵并实现更短编码的条件变量

步骤

公式
解释
思考关于英文文本的哪些先验信息可降低对下一个字符的不确定性
步骤依据
自然语言中的上下文知识
视频直接表达
公式
解释
若接收方已知此前的字符，则条件熵〔H(X|Y)〕小于熵〔 $H(X)$ 〕，从而可使用更短的编码
步骤依据
条件熵有界性的性质
依据视频推导

结果

本段未明确指定具体变量 Y；该问题留待进一步探索

检验

通过有界性性质进行概念验证：〔H(X|Y)〕 ≤ 〔 $H(X)$ 〕

英文文本编码示例：Q 后接 U

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
幻灯片标题为“例1：”，随后是英文文本中的编码字符，并提问：哪个变量 Y 能使 H(X|Y) 下降，从而缩短对输入字符 X 的条件编码长度。
声音
观察依据
讲师讨论了在已知前一个字母的前提下对字母进行编码，并以 Q 后接 U 为例。
图示
观察依据
右侧显示表2.9：辅音 n 的香农信息量，含字母频率及 $h(p_i)$ 值。

待核验内容

该表格在画面中可见，但本片段中未逐项朗读。
讲师在本片段中未在屏幕上计算 H(X|Y) 的具体数值。

题目

利用条件熵解释为何：若已知前一个字符，则对输入的英文字符进行编码所需比特数可能更少。

已知条件

X 表示输入的字符。
Y 表示前一个字符或上下文。
英文字母的统计规律使得某些字符转移高度可预测，例如 Q 后面常常跟着 U。

目标

解释为何在给定上下文条件下，剩余的意外程度会降低，从而缩短编码长度。

步骤

公式
$Y = previous character$
解释
选择前一个字母作为条件变量。
步骤依据
如幻灯片示例及讲师讲解中所述。
视频直接表达
公式
$H(X|Y)$
解释
在观察到前一个字母后，度量下一个字母所剩余的不确定性。
步骤依据
这是幻灯片上所定义的量。
视频直接表达
公式
$Q \Rightarrow U$
解释
如果前一个字母是 Q，则下一个字母极有可能是 U。
步骤依据
讲师明确口述的示例。
视频直接表达
公式
$H(X|Y=Q) \text{ is very low}$
解释
由于在 Q 之后 U 几乎已被确定，因此条件不确定性很小。
步骤依据
讲师的口述解释。
视频直接表达
公式
$lower H(X|Y) \Rightarrow shorter code length$
解释
条件熵的降低意味着条件编码器平均所需的比特数更少。
步骤依据
幻灯片文字将条件熵 H(X|Y) 与条件编码的码长关联起来。
视频直接表达

结果

在先前上下文（例如字母 Q）条件下，下一个字符的熵会降低，因此条件编码所需的比特数少于无条件编码。

检验

主讲人通过 Q 后几乎必然跟随 U 这一直观现象，以及将较低的条件熵与较短的码长相联系，直观地验证了这一思想。

conditionalentropy(p) 的练习测试用例。

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
练习幻灯片列出了测试项：conditionalentropy([0.5,0;0,0.5])=0 和 conditionalentropy([0.25,0.25;0.25,0.25])=1。

待核验内容

视频片段中未展示具体计算过程，仅打印出预期结果。
这些精确数值输出背后的推理在此处并未口头说明。

题目

检验所提出的 MATLAB 函数 conditionalentropy(p) 在简单联合分布上的行为。

已知条件

p 是一个 2D 联合概率矩阵 $p(x,y)$ 。
测试 1：p=[0.5,0;0,0.5]。
测试 2：p=[0.25,0.25;0.25,0.25]。

目标

识别 conditionalentropy(p) 对这些矩阵所声明的输出值。

步骤

公式
$conditionalentropy([0.5,0;0,0.5]) = 0$
解释
幻灯片指出，这种确定性的对角联合分布产生的条件熵为零。
步骤依据
练习幻灯片上印出的测试用例。
视频直接表达
公式
$conditionalentropy([0.25,0.25;0.25,0.25]) = 1$
解释
幻灯片指出，均匀的 $2\times 2$ 联合分布产生的条件熵为1。
步骤依据
练习幻灯片上印出的测试用例。
视频直接表达

结果

所给出的输出为 0 对应 [0.5,0;0,0.5]，以及 1 对应 [0.25,0.25;0.25,0.25]。

检验

验证仅依据印出的期望结果；该片段未展示推导过程。

图示与动画 · 12

条件熵演示幻灯片

依据清楚

视频直接表达

来源依据

图示
观察依据
一张静态演示幻灯片全程显示，标题为“条件熵”，包含文字和数学公式。

图中对象

标题文字
项目符号列表
数学公式

不变量

幻灯片内容在整个视频片段中保持静止且不变。

数学含义

该画面作为视觉参考，辅助讲解者音频叙述中所阐述的定义与关系。

边缘熵 $H(X)$ 的出现

依据清楚

视频直接表达

来源依据

动画
观察依据
屏幕左侧出现一个实心红色圆圈，其下方标注为 $H(X)$ 。

图中对象

红色圆圈
标签 $H(X)$

变化过程

圆圈渐显
标签出现

不变量

颜色为红色
位置在左侧

数学含义

表示随机变量 X 的总不确定性或信息量。

边缘熵 $H(Y)$ 及重叠部分的出现

依据清楚

视频直接表达

来源依据

动画
观察依据
一个半透明的蓝色圆圈出现在右侧，与红色圆圈重叠；在非重叠区域分别出现标签 $H(Y)$ 和加号。

图中对象

蓝色圆圈
标签 $H(Y)$
加号

变化过程

蓝色圆圈淡入
重叠区域变为紫色/更深色
加号表示可加性组成部分

不变量

红色圆圈保持不变
位置固定

数学含义

引入第二个变量 Y，并通过视觉方式表明一般变量既共享部分信息（重叠区域），又各自拥有独特信息（新月形区域）。

标注联合熵与互信息

依据清楚

视频直接表达

来源依据

动画
观察依据
标注 $H(X,Y)$ 和 I(X;Y) 的标签出现，箭头分别指向并集与交集。

图中对象

标注 $H(X,Y)$
标注 I(X;Y)
箭头

变化过程

箭头用于突出显示特定区域
文字标签出现

不变量

圆圈保持不变

数学含义

标识总联合不确定性（并集）与共享信息（交集）

条件熵的标注

依据清楚

视频直接表达

来源依据

动画
观察依据
标注 H(X|Y) 和 H(Y|X)，分别用指向左侧和右侧月牙形区域的箭头指示

图中对象

标注 H(X|Y)
标注 H(Y|X)
箭头

变化过程

箭头指向不重叠的区域

不变量

先前的标签保持不变

数学含义

以视觉方式将条件熵定义为：在考虑另一变量所提供的信息后，某一变量所剩余的不确定性（即去除交集部分）

熵关系的维恩图

依据清楚

视频直接表达

来源依据

图示
观察依据
维恩图：红色圆圈表示〔 $H(X)$ 〕，蓝色圆圈表示〔 $H(Y)$ 〕，相交区域表示〔 $H(X,Y)$ 〕，左侧新月形区域表示〔H(X|Y)〕，右侧新月形区域表示〔H(Y|X)〕

图中对象

表示〔 $H(X)$ 〕的红色圆圈
表示〔 $H(Y)$ 〕的蓝色圆圈
表示〔 $H(X,Y)$ 〕的相交区域
表示〔H(X|Y)〕的左侧不重叠区域
表示〔H(Y|X)〕的右侧不重叠区域

变化过程

图示在整个片段中保持静止

不变量

各区域的相对大小反映熵之间的关系
标签保持不变

数学含义

视觉化图示，展示联合熵如何分解为边缘熵与条件熵两部分，其中重叠区域表示共享信息

幻灯片切换至示例页

依据清楚

视频直接表达

来源依据

动画
观察依据
幻灯片从第29页切换至第30页，呈现新内容

图中对象

上一张幻灯片包含定义与维恩图
新幻灯片包含示例与概率表

变化过程

内容从理论性质转向实际示例
英文字母的概率表出现

不变量

条件熵的定义持续可见
维恩图持续存在

数学含义

过渡标记从抽象性质转向文本编码中的具体应用

熵分解的维恩图

依据清楚

视频直接表达

来源依据

图示
观察依据
两个重叠的圆，分别标为 $H(X)$ 和 $H(Y)$ ；重叠区域标为 $H(X,Y)$ ；仅左侧区域标为 H(X|Y)；箭头表示各区域间的加法或减法关系。

待核验内容

箭头的确切语义是示意性的，而非严格标注的。

图中对象

左侧圆标为 $H(X)$
右侧圆标为 $H(Y)$
重叠区域标为 $H(X,Y)$
仅左侧区域，标注为 H(X|Y)
区域之间带有箭头及加号/减号

变化过程

图表保持静止，讲师同时讲解条件熵与码长。

不变量

重叠部分始终表示联合熵。
仅左侧区域始终表示 X 关于 Y 的条件熵。

数学含义

该图示意：联合不确定性可被划分为两部分——一部分是与 Y 共享的不确定性，另一部分是在已知 Y 后仍专属于 X 的不确定性，这与公式 H(X|Y)= $H(X,Y)-H(Y)$ 相符。

英文字母频率与自信息量表格

依据清楚

视频直接表达

来源依据

图示
观察依据
右侧表格列出了 i、 $a_i$ 、 $p_i$ 、 $h(p_i)$ ，对应英文字母，并以公式 $\sum_i p_i \log_2 \frac{1}{p_i}$ 结尾，标题为“表 2.9 辅音 n 的香农信息量”。

待核验内容

标题措辞与完整字母表表格相比显得异常；该片段未解释这一差异。

图中对象

列标题为 i、 $a_i$ 、 $p_i$ 、 $h(p_i)$
行内容为字母 a 至 z
底部求和公式 $\sum_i p_i \log_2 \frac{1}{p_i}$
字幕：“表2.9辅音 n 的香农信息量”

变化过程

该表格在整个第一张幻灯片中持续可见，讲师同时讲解英文字符的编码。

不变量

每一行将一个字母与其出现概率及对应的 $h(p_i)$ 值相关联。
以2为底的对数公式始终显示在底部。

数学含义

该表格提供了实证得出的字母概率及其单符号信息量，支撑了关于英文文本熵与编码的更广泛讨论。

从讲解幻灯片切换至练习题幻灯片

时间近似

视频直接表达

来源依据

动画
观察依据
演示文稿从条件熵幻灯片切换至一道练习题幻灯片，标题仍保留为‘条件熵’。

待核验内容

确切的切换帧因采样原因仅为近似。

图中对象

前一张条件熵幻灯片
新练习题幻灯片，标题为‘条件熵’
维恩图移至练习题幻灯片的右上角

变化过程

正文主体内容由定义/示例切换为‘练习：我们来编码吧！’，并包含子问题 a–e。

不变量

主题仍是条件熵。
维恩图继续作为视觉参考出现。

数学含义

课程从概念性讲解转向以实践应用为导向的练习。

课程总结幻灯片

依据清楚

视频直接表达

来源依据

图示
观察依据
最终幻灯片标题为“信息论导论：总结”，其要点包括不确定性与意外性、熵的表达式为〔-p log p〕、熵的计算方法，以及接下来将进入信息度量的学习。

图中对象

标题“信息论导论：总结”
要点：“我们已初步了解了不确定性与意外性的概念。”
要点：“理解熵的含义，即〔-p log p〕”
要点：“掌握熵的计算方法”
要点：“接下来：进入信息度量的学习”

变化过程

幻灯片保持静止，讲师同时回顾第一讲内容。

不变量

该总结强调了不确定性、意外性、熵，以及下一主题——信息度量。

数学含义

本结尾画面将条件熵置于信息论入门内容的更广阔框架中，为后续转向互信息等相关主题做铺垫。

总结幻灯片

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
标题为‘信息论导论：总结’的静态幻灯片，包含要点列表，概括了不确定性、惊讶程度、熵〔-p log p〕等概念，以及后续将介绍的信息度量相关内容。

图中对象

文字幻灯片

不变量

幻灯片内容在整个视频片段中保持静止。

数学含义

该视觉图示作为口述总结的结构提纲，强化了前一讲节中的关键数学公式与核心概念要点。

易错点 · 4

联合熵中的重复计算

依据清楚

视频直接表达

来源依据

声音
观察依据
主讲人明确提醒：“注意，我们并没有将两个圆相加，因为那样会重复计算这个重叠部分。”

误区

误以为联合熵 $H(X,Y)$ 就是边缘熵之和 $H(X) + H(Y)$ 。

说明

将两个圆的完整面积相加，会使互信息（即交集部分）被计算两次。正确的联合熵应为并集的面积，等于 $H(X) + H(Y) - I$ (X;Y)。

常见误解：条件化会增加不确定性

依据清楚

视频直接表达

来源依据

声音
观察依据
它不会增加不确定性，准确地说，是平均而言不会增加。它可能使不确定性保持不变，但平均而言绝不会增加。

误区

学习额外信息 Y 可能会增加关于 X 的不确定性。

说明

平均而言，条件熵永远不会超过无条件熵：H(X|Y) ≤ $H(X)$ 。知识只能减少或维持不确定性，平均而言绝不会增加不确定性。

切勿推断条件作用总会降低熵

时间近似

补充解释

来源依据

声音
观察依据
讲师在英文文本示例中指出，条件熵“通常低于”无条件熵。

待核验内容

此警示由分析者添加，并未在视频片段中明确陈述。

误区

人们可能将‘语境减少不确定性’视作适用于所有随机变量的绝对规律。

说明

视频仅断言：对于英语文本等具有依赖性的信源，熵通常会降低；而在一般信息论中，条件作用可能使熵保持不变，甚至对连续型变量而言，还可能增加微分熵；该片段并未讨论这些例外情形。

熵的维恩图是一种助记工具，并非字面意义上的集合隶属关系

时间近似

补充解释

来源依据

图示
观察依据
幻灯片使用维恩图来表示 $H(X)$ 、 $H(Y)$ 、 $H(X,Y)$ 与 H(X|Y)。

待核验内容

此警示由分析者添加；讲师并未提醒观众避免过度解读该图。

误区

学生可能误以为这些圆圈代表普通的结果集合，其面积直接编码概率。

说明

此处该图仅为熵量之间加法关系（尤其是 H(X|Y)= $H(X,Y)-H(Y)$ ）提供一种视觉类比，并非声称熵等于集合的基数。

概念关系 · 14

联合熵 → 条件熵

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片显示 H(X|Y) = $H(X,Y) - H(Y)$ 。

证明依赖

解释

条件熵由联合熵与边缘熵的概念导出，并依赖于这两个概念。

条件意外度 → 条件熵

依据清楚

视频直接表达

来源依据

声音
观察依据
讲解者从讨论具体的条件意外度 h(x|y) 过渡到平均不确定性 H(X|Y)。

包含

解释

条件熵是条件意外度的期望值（即平均值）。

条件熵的定义 → 联合熵、边缘熵与条件熵之间的关系

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片上显示 H(X|Y) = $H(X,Y) - H(Y)$ 。

应用

解释

条件熵的定义通过减法在代数上与联合熵和边缘熵相关联。

条件熵的定义 → 熵的文氏图表示

依据清楚

视频直接表达

来源依据

声音
观察依据
从讨论公式过渡到‘我们可以从图形角度思考……绘制维恩图’。

对比

解释

用几何可视化方式与解析定义形成对比，以帮助理解信息如何重叠。

条件熵的定义 → 熵的链式法则

依据清楚

视频直接表达

来源依据

公式
观察依据
X 在给定 Y 条件下的熵等于 X 和 Y 的联合熵减去 Y 的熵

等价

解释

条件熵的定义等价于联合熵的链式法则分解

条件熵的界 → 独立性的等号成立条件

依据清楚

视频直接表达

来源依据

公式
观察依据
H(X|Y) 的值介于 0 和 $H(X)$ 之间（含端点）
公式
观察依据
H(X|Y) = $H(X)$ 当且仅当 X 与 Y 相互独立

特例

解释

边界中等式情形 H(X|Y) = $H(X)$ 表示 X 与 Y 相互独立这一特殊情况

零条件熵的含义 → 条件熵的定义

依据清楚

视频直接表达

来源依据

声音
观察依据
X 中的所有信息都将包含在 Y 之中

特例

解释

条件熵为零代表极端情形：X 完全由 Y 决定

条件熵的定义 → 条件熵的熵链式法则

依据清楚

视频直接表达

来源依据

公式
观察依据
定义式与恒等式 H(X|Y)= $H(X,Y)-H(Y)$ 同时出现在同一张幻灯片上。

应用

解释

链式法则公式通过将条件熵表示为联合熵与边缘熵之差，使条件熵的口头定义得以具体化。

将条件自信息、联合自信息与边缘自信息关联起来的逐点恒等式 → 条件熵的熵链式法则

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片在 H(X|Y)= $H(X,Y)-H(Y)$ 正上方直接列出 h(x|y)= $h(x,y)-h(y)$ 。

待核验内容

从点态量 h 到期望值量 H 的平均化步骤，在本视频片段中并未显式推导。

推广

解释

点态自信息恒等式与其对应的信息熵期望值形式并列呈现。

利用马尔可夫链的上下文来引出条件熵 → 条件熵的定义

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
幻灯片中的项目符号将前一字符的上下文与概率变化联系起来，并命名此类模型为马尔可夫链。
声音
观察依据
讲者借助马尔可夫链的概念，说明为何 H(X|Y) 对文本建模具有重要意义。

应用

解释

马尔可夫链上下文提供了一个具体的信源模型，在该模型中，条件熵用于度量下一个符号所剩余的不确定性。

条件熵的定义 → 条件熵即为缩短后的编码长度

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
幻灯片明确指出：H(X|Y) 下降，‘因此对输入字符 X 进行条件编码时，其码长缩短’。
声音
观察依据
讲者再次强调，利用上下文可减少每个字母所需的编码长度。

应用

解释

条件熵被用作决定条件编码相比无条件编码最多能缩短多少的量化指标。

条件熵的熵链式法则 → 练习：根据联合概率矩阵实现条件熵

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
练习要求学生实现 conditionalentropy(p)，并提示可复用 entropy() 和 jointentropy() 函数。

证明依赖

解释

该编程任务依赖于此前刚刚讲授的条件熵分解式，即将其拆解为联合部分与边缘部分。

问题定位 · 20

什么是条件熵？它是如何定义的？

依据清楚

视频直接表达

来源依据

声音
观察依据
讲解者引入该概念，用于量化在已知 Y 的前提下，X 中剩余的不确定性。

涉及知识点

条件熵

计算条件熵的数学公式是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片展示了 H(X|Y) 的求和公式。

涉及知识点

条件熵

条件熵与联合熵和边缘熵之间有何关系？

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片显示 H(X|Y) = $H(X,Y) - H(Y)$ 。

涉及知识点

条件熵
联合熵
边缘熵

条件熵 H(X|Y) 的数学公式是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
幻灯片上给出明确的公式。

涉及知识点

条件熵的定义

在两个变量的维恩图中，联合熵如何表示？

依据清楚

视频直接表达

来源依据

图示
观察依据
展示并集的维恩图。

涉及知识点

熵的文氏图表示
联合熵与边缘熵之和的比较

为什么联合熵不等于各个熵的简单相加？

依据清楚

视频直接表达

来源依据

声音
观察依据
双重计数的解释。

涉及知识点

联合熵中的重复计算

为什么条件熵总是小于或等于无条件熵？

依据清楚

视频直接表达

来源依据

声音
观察依据
平均条件熵总是小于或等于无条件熵

涉及知识点

条件熵的界

条件熵何时等于无条件熵？

依据清楚

视频直接表达

来源依据

声音
观察依据
当我们的变量 X 和 Y 相互独立时，即为这种情况

涉及知识点

独立性的等号成立条件

条件熵为零意味着什么？

依据清楚

视频直接表达

来源依据

声音
观察依据
一旦我们知道了 Y，X 中就不再有任何意外

涉及知识点

零条件熵的含义

熵维恩图中的各个区域如何对应联合熵、边缘熵和条件熵？

依据清楚

视频直接表达

来源依据

图示
观察依据
带标注区域的维恩图

涉及知识点

熵关系的维恩图
熵的维恩图表示法

本讲中，条件熵是什么含义？

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
展示条件熵的定义。

涉及知识点

条件熵的定义

为什么将 H(X|Y) 写作 $H(X,Y)-H(Y)$ ？

依据清楚

视频直接表达

来源依据

公式
观察依据
显示的恒等式为 H(X|Y)= $H(X,Y)-H(Y)$ 。
图示
观察依据
维恩图，显示重叠区域与仅左侧区域。

涉及知识点

条件熵的熵链式法则

覆盖情况与待核验内容

已覆盖 · 整个片段由一张静态幻灯片构成，用于讲解条件熵，配以连续的音频解说，涵盖所展示的定义与关系。

已覆盖 · 静态幻灯片上呈现的公式与定义。

已覆盖 · 熵维恩图的动态构建与讲解。

已覆盖 · 条件熵定义及维恩图表示法导论

已覆盖 · 条件熵的性质，包括上下界及常见误解澄清

已覆盖 · 变量相互独立时的等号成立条件

已覆盖 · 条件熵为零的含义

已覆盖 · 英文文本字符编码的示例应用

已覆盖 · 核心条件熵幻灯片，含公式、维恩图、英文文本编码示例及主讲人讲解。

已覆盖 · 练习幻灯片，要求学生用 MATLAB 实现 conditionalentropy(p)，并列出若干测试用例。

已覆盖 · 总结幻灯片及对第一讲的口头回顾，最后宣布下一主题。

已覆盖 · 整个片段是在一张静态幻灯片上进行的口语化总结，涵盖熵、意外度以及信息与不确定性之间关系的定义。

探索视频中的知识

打开视频知识图谱 →

条件熵讲解定位 0:00
查看关联依据
已审核中文素材 v1：knowledge_item「条件熵」出现在 0:00 至 2:00——条件熵表示在另一个随机变量 Y 已被观测之后，关于随机变量 X 所剩余的平均不确定性。它是条件意外度在 X 和 Y 的联合分布上的期望值。
Reviewed English material v1: knowledge_item "Conditional Entropy" at 0:00 至 2:00 — Conditional entropy represents the average uncertainty remaining about a random variable X after another random variable Y has been observed. It is the expected value of the conditional surprisal over the joint distribution of X 且 Y.
互信息讲解定位 3:09
查看关联依据
已审核中文素材 v1：chapter「联合熵与互信息」出现在 3:09——图中添加了标注以标识关键的复合度量。标记 $H(X,Y)$ 指向两个圆的并集整体，定义为联合熵。标记 $I(X;Y)$ 特指两圆的交集，定义为互信息。讲解者强调，若仅将两个圆的面积（ $H(X) + H(Y)$ ）简单相加来计算联合熵，则是错误的，因为这会重复计算交集部分。
马尔可夫链应用定位 6:12
查看关联依据
Reviewed English material v1: chapter "English-text coding 且 Markov-chain context" at 6:12 至 6:18 — In speech, the lecturer identifies the previous letter as that context 且 describes letter sequences as Markov chains, meaning the probability of the next character depends on earlier characters.
已审核中文素材 v1：chapter「英文文本编码与马尔可夫链上下文」出现在 6:12 至 6:18——讲解中，讲师指出前一个字母即为此上下文，并将字母序列描述为马尔可夫链，即下一个字符出现的概率依赖于前面的字符。

信息论导论：熵——第6部分——条件熵

把讲解展开来看。

章节

学习解说文稿

知识卡片

条件意外度定义

条件熵定义

熵的关系公式

条件熵公式

熵维恩图基础

联合熵与重复计数

条件熵的可视化

条件熵定义

条件熵的界

独立性的刻画

零条件熵

维恩图解释

在文本编码中的应用

条件熵：定义

逐点链式法则与平均链式法则

维恩图解释

英文文本编码示例

Q后面通常跟着U

条件熵与码长

关于条件熵(p)的 MATLAB 练习

课堂小结

熵的公式

香农信息量

信息与不确定性

详细学习笔记

X

Y

x

y

h

H

p

AxA_xAx​, AyA_yAy​

h(x|y)

H(X|Y)

p(x|y)

p(x,y)p(x,y)p(x,y)

条件意外度

条件熵

联合意外度

联合熵

边缘熵

条件熵的定义

联合熵、边缘熵与条件熵之间的关系

熵的文氏图表示

条件熵的定义

条件熵的界

独立性的等号成立条件

零条件熵的含义

联合意外度、边缘意外度与条件意外度之间的关系

联合熵、边缘熵与条件熵之间的关系

联合熵与边缘熵之和的比较

熵的维恩图表示法

在 Q 之后，下一个字母 U 的条件不确定性很低。

上下文通常会降低熵。

从联合熵与边缘熵推导条件熵

借助文氏图分解联合熵

熵的链式法则

联合熵在视觉上被分解为条件部分与边缘部分。

英文文本中字符的编码

英文文本编码示例：Q 后接 U

conditionalentropy(p) 的练习测试用例。

条件熵演示幻灯片

边缘熵 H(X)H(X)H(X) 的出现

边缘熵 H(Y)H(Y)H(Y) 及重叠部分的出现

标注联合熵与互信息

条件熵的标注

熵关系的维恩图

幻灯片切换至示例页

熵分解的维恩图

英文字母频率与自信息量表格

从讲解幻灯片切换至练习题幻灯片

课程总结幻灯片

总结幻灯片

联合熵中的重复计算

$A_x$ , $A_y$

$p(x,y)$

边缘熵 $H(X)$ 的出现

边缘熵 $H(Y)$ 及重叠部分的出现

为什么将 H(X|Y) 写作 $H(X,Y)-H(Y)$ ？