互信息 - 解释

1. 公式
   观察依据

   在屏幕中央写出 $H(X) = -\sum$ₓ $P(X) \log$₂$P(X)$。

2. 声音
   观察依据

   讲述者说道：“形式上，熵是期望的意外程度。”

$H(X)$

随机变量 X 的熵表示关于 X 的不确定性，或期望的意外程度。

X 是一个离散型随机变量；求和遍历 x 的所有可能取值。

1. 公式
   观察依据

   $P(X)$ 这一项出现在熵的公式中。

2. 声音
   观察依据

   讲述者朗读：“负的 $P(X)$ 乘以 $\log P(X)$ 的和。”

$p(x)$

随机变量 X 取某个特定值 x 的概率。

概率质量函数，满足 $P(X)$ 大于等于零，且对所有 x 求和等于一。

1. 公式
   观察依据

   该公式明确使用以二为底的对数。

2. 声音
   观察依据

   讲述者说“乘以 $\log P(X)$”，但未口头强调底数。

1. 音频中仅说“log”，而底数——二——则在公式中以视觉方式标出。

$\log_2$

以二为底的对数所得熵的单位为比特。

应用于随机变量 X 的概率值 P。

1. 公式
   观察依据

   在右侧较短矩形的上方标有 X 关于 Y 的标签 H。

2. 声音
   观察依据

   讲解员说：“你对 X 的剩余不确定性就是条件熵，即 X 关于 Y 的熵 H。”

H(X|Y)

在观测到 Y 之后关于 X 的剩余不确定性——即条件熵。

X 和 Y 是相关的随机变量。

1. 公式
   观察依据

   在底部写出 I(X;Y) = $H(X) - H$(X|Y)。

2. 声音
   观察依据

   讲解员说：“这两者之间的差值就是互信息。”

I(X;Y)

X 和 Y 之间的互信息衡量了观测 Y 能使关于 X 的不确定性减少多少。

两个随机变量：X 和 Y。

1. 公式
   观察依据

   在维恩图右侧圆圈外标注 $H(Y)$。

2. 声音
   观察依据

   讲解员说：“右侧标一个 $H(Y)$。”

$H(Y)$

随机变量 Y 的熵表示关于 Y 的不确定性。

Y 是一个离散型随机变量。

1. 公式
   观察依据

   在维恩图右侧新月形区域内标注 H(Y|X)。

2. 声音
   观察依据

   讲解员说道：“右侧新月形区域是 H(Y|X)。”

H(Y|X)

在观测到 X 之后，关于 Y 所剩余的不确定性。

X 和 Y 是相关的随机变量。

1. 声音
   观察依据

   讲解者说：“而整个区域，即两个圆共同覆盖的部分，就是联合熵。”

2. 图示
   观察依据

   画面显示两个重叠圆的合并区域，但联合熵的完整符号并未清晰写出。

1. 联合熵的标准记号 $H(X,Y)$ 在本片段中未清晰写出；仅以口述方式提及该名称。

joint entropy

随机变量对 X 和 Y 共同的不确定性，对应于维恩图中两个圆的并集区域。

X 和 Y 是离散型随机变量。

1. 图示
   观察依据

   左侧圆圈用蓝色标注为〔$H(X)$〕。

2. 公式
   观察依据

   〔$H(X)$〕出现在恒等式〔I(X;Y)=$H(X)+H(Y)-H(X,Y)$〕中。

$H(X)$

随机变量 X 的熵。

离散随机变量 X 的非负实数量。

1. 图示
   观察依据

   右侧圆圈用红色标注为〔$H(Y)$〕。

2. 公式
   观察依据

   〔$H(Y)$〕出现在恒等式〔I(X;Y)=$H(X)+H(Y)-H(X,Y)$〕中。

$H(Y)$

随机变量 Y 的熵。

离散随机变量 Y 的非负实数量。

1. 图示
   观察依据

   两个圆圈下方的花括号标注为〔$H(X,Y)$〕。

2. 声音
   观察依据

   讲述者在引入联合项时说“X 与 Y 的熵 H”。

3. 公式
   观察依据

   〔$H(X,Y)$〕作为被减项出现在〔I(X;Y)=$H(X)+H(Y)-H(X,Y)$〕中。

$H(X,Y)$

二元组〔(X,Y)〕的联合熵。

X 与 Y 联合分布的非负实数量。

1. 图示
   观察依据

   左侧圆圈中不重叠的部分标记为 H(X|Y)。

H(X|Y)

在给定 Y 的条件下 X 的条件熵。

条件分布 p(x|y) 的非负实数量。

1. 声音
   观察依据

   讲解者通过从云朵推及降雨来引入该概念：“但看到云朵，实际上能告诉你多少关于降雨的信息呢？”接着说：“这一数量，即不确定性的减少量，有一个专门的名称——它叫做互信息。”

2. 图示
   观察依据

   屏幕左侧显示云朵，右侧显示雨滴，中间出现问号，底部显示“互信息”。

视频通过“看到云”与“是否会下雨”之间的关系来说明：互信息衡量的是某次观测能减少关于未知事件多少不确定性。其中，云代表被观测变量，雨代表待推断的目标变量。

1. 涉及两个相互关联的随机变量或事件

2. 其中一个作为观测变量，另一个作为推断目标

1. 声音
   观察依据

   讲述者说：“在讨论共享信息之前，我们需要一种方法来度量不确定性本身，而这就是熵。”以及“形式上，熵是期望的意外程度。”

2. 公式
   观察依据

   屏幕上显示 $H(X) = -\sum$ₓ $P(X) \log$₂$P(X)$。

3. 动画
   观察依据

   依次出现一枚均匀硬币和一枚有偏硬币的条形图，每张图均标有对应的熵值。

熵用于度量一个随机变量的不确定性，在视频中被解释为“期望的意外程度”。结果分布越均匀，熵越高；某些结果越确定，熵越低。

1. X 是一个离散随机变量

2. $P(X)$ 是 X 的概率分布。

3. 使用以二为底的对数，所得单位为比特

1. 互信息的直观含义

1. 声音
   观察依据

   讲述者说：“在观察到 Y 之后，你对 X 的剩余不确定性就是条件熵，即 〔H of X given Y〕。”

2. 公式
   观察依据

   屏幕标注了 〔H of X given Y〕，并写出 〔I of X semicolon Y〕 等于 〔H of X〕 减去 〔H of X given Y〕。

3. 动画
   观察依据

   左侧一个高矩形标有 〔H of X〕，经‘观察 Y’变换后，变为右侧一个较矮的矩形，标有 〔H of X given Y〕，其上方绿色区域代表减少量。

条件熵 〔H of X given Y〕 表示在 Y 已被观察到之后，对 X 的剩余不确定性。视频通过矩形高度降低这一直观方式来阐释：观察 Y 会降低对 X 的不确定性。

1. X 和 Y 是随机变量

2. Y 已被观察到或已知

1. 熵的定义

1. 声音
   观察依据

   讲述者说：“这两者之间的差值，就是互信息。”

2. 公式
   观察依据

   底部显示 〔I of X semicolon Y〕 等于 〔H of X〕 减去 〔H of X given Y〕。

3. 动画
   观察依据

   绿色顶部区域标为 〔I of X semicolon Y〕，对应 〔H of X〕 与 〔H of X given Y〕 的高度差。

互信息等于原始熵减去条件熵，表示通过观察 Y 而获得的关于 X 的信息量。图示将这一差值直接表现为绿色区域。

1. X 和 Y 是随机变量

2. $H(X)$ 与 H(X|Y) 使用相同的单位制。

1. 熵的定义
2. 条件熵

1. 声音
   观察依据

   讲解员说道：“画两个重叠的圆：左边一个标为 $H(X)$，右边一个标为 $H(Y)$。重叠部分即为互信息……左侧新月形区域是 H(X|Y)……右侧新月形区域是 H(Y|X)。而整个区域，即两个圆的并集，就是联合熵。”

2. 图示
   观察依据

   两个重叠的圆分别标注为 $H(X)$ 和 $H(Y)$；它们的交集标注为 I(X;Y)；左侧新月形区域标注为 H(X|Y)；右侧新月形区域标注为 H(Y|X)。

1. 联合熵仅以口头方式命名；其标准符号 H〔X,Y〕未在画面中出现。

该视频使用两个重叠的圆圈表示两个变量的熵：左侧圆圈为 $H(X)$，右侧圆圈为 $H(Y)$，它们的交集为 I(X;Y)，左侧新月形区域为 H(X|Y)，右侧新月形区域为 H(Y|X)，两圆并集为联合熵。该图同时展示了熵、条件熵、互信息与联合熵之间的空间关系。

1. 适用于阐释两个离散随机变量之间的信息分解

1. 熵的定义
2. 条件熵
3. 互信息的公式

1. 图示
   观察依据

   文氏图用两个重叠的圆分别表示 $H(X)$ 和 $H(Y)$，三个区域分别标注为 H(X|Y)、I(X;Y) 和 H(Y|X)，而 $H(X,Y)$ 覆盖整个两个圆。

2. 公式
   观察依据

   屏幕上显示的恒等式为 I(X;Y) = $H(X) + H(Y) - H(X,Y)$。

3. 声音
   观察依据

   讲解者说：“因此我们得到这个优美的恒等式：I 以分号连接 X 和 Y，等于 $H(X)$ 加 $H(Y)$ 减 $H(X,Y)$。”

该视频片段将互信息诠释为熵文氏图中的重叠部分：左侧整个圆代表 $H(X)$，右侧整个圆代表 $H(Y)$，并集代表 $H(X,Y)$，交集代表 I(X;Y)。从该图可直接读出恒等式 I(X;Y) = $H(X) + H(Y) - H(X,Y)$。

1. X 和 Y 是具有有限熵的随机变量。

2. 该图将 $H(X,Y)$ 视为两个熵圆的并集，将 I(X;Y) 视为它们的交集。

1. 图示
   观察依据

   在‘独立’标题下，一个正方形网格被均匀地涂成橙色。

2. 公式
   观察依据

   屏幕上显示的公式为 $p(x,y) = p(x)\cdot p(y)$ 和 I(X;Y) = 0。

3. 声音
   观察依据

   讲解者指出，当X与Y相互独立时，知道其中一个变量的取值无法提供关于另一个变量的任何信息；联合分布等于边缘分布的乘积；且互信息恰好为零。

视频从操作层面定义了独立情形：联合分布可分解为边缘分布的乘积，且互信息为零。均匀的橙色网格直观地表示联合分布中不存在任何集中模式。

1. 适用于X与Y相互独立的情形。

2. 图中显示的记号使用了概率质量函数$p(x)$、$p(y)$和$p(x,y)$。

1. 互信息的文氏图恒等式

1. 图示
   观察依据

   在‘依赖’标题下，第二个方格网格沿对角线带状区域呈现出更深的橙色集中。

2. 公式
   观察依据

   图中显示的公式为$p(x,y)\ne p(x)$⋅$p(y)$以及I(X;Y)>0。

3. 声音
   观察依据

   讲解者指出，当变量相互依赖时，联合分布在某些特定模式上集中；它不再等于边缘分布的乘积；且互信息变为正值。

依赖情形被呈现为独立性的对比：联合分布不等于边缘分布的乘积，且互信息严格大于零。对角线阴影示意了联合分布律中存在的结构。

1. 适用于X与Y相互依赖的情形。

2. 图中显示的记号使用了概率质量函数。

1. 通过因式分解与零互信息刻画独立性

1. 公式
   观察依据

   屏幕上显示 I(X;Y)=D_{KL}($p(x,y)$ || $p(x)p(y)$)。

2. 公式
   观察依据

   展开后的表达式为 =$\sum_{x,y} p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$。

3. 声音
   观察依据

   讲述者称，互信息是‘联合分布与变量相互独立时的联合分布之间的 KL 散度’。

1. 对数的底数未指定。

2. 该片段未说明 KL 散度所需的绝对连续性条件。

更深层的表述将互信息等同于实际联合分布 $p(x,y)$ 与独立参考分布 $p(x)p(y)$ 之间的 Kullback-Leibler 散度。展开后的求和形式明确将其表示为：在联合分布下，对联合概率与独立乘积之比的对数所取的期望值。

1. 所展示的推导针对离散分布，使用概率质量函数。

2. 比值形式要求在求和支撑集上满足 $p(x,y)>0$ 且 $p(x)p(y)>0$。

1. 通过因式分解与零互信息刻画独立性
2. 通过不可因式分解与正互信息刻画依赖性

1. 公式
   观察依据

   屏幕上显示 I(X;Y)=I(Y;X)。

2. 声音
   观察依据

   讲述者说：‘它完全对称：X 与 Y 的互信息等于 Y 与 X 的互信息。X 关于 Y 所提供的信息，恰好等于 Y 关于 X 所提供的信息。’

该片段指出，互信息在其两个参数上具有对称性。这与文氏图的直观图示一致：重叠区域由两个圆圈共同享有，而非仅属于其中某一个圆圈。

1. 适用于任何一对互信息有定义的随机变量 X 和 Y。

1. 互信息的文氏图恒等式
2. 互信息作为相对于独立性的 KL 散度

1. 声音
   观察依据

   讲解者说：“假设我们抛一枚均匀硬币。正面或反面，各自概率均为零点五。你完全无法预知结果，不确定性达到最大。此处的熵恰好为一比特。”

2. 图示
   观察依据

   在‘均匀硬币’标题下，两个等高的蓝色柱状图分别标注‘零点五’，下方写有‘H 等于一点零 比特’。

对于单次均匀硬币抛掷，若 P〔正面〕等于 P〔反面〕等于零点五，则其熵为一点零 比特。

1. 该随机试验仅有两种结果：正面和反面

2. 这两种结果出现的概率相等

这适用于本例中这枚质地均匀的硬币。

1. 声音
   观察依据

   讲述者说：“现在考虑一枚有偏硬币：正面朝上的概率为零点九，反面朝上的概率为零点一……不确定性大大降低。此时熵下降至仅零点四七比特。”

2. 图示
   观察依据

   在‘有偏硬币’图示中，红色条形图高度分别为零点九和零点一，下方标注 H 等于零点四七比特。

对于一枚正面朝上概率为零点九、反面朝上概率为零点一的有偏硬币，其熵约为零点四七比特，小于均匀硬币的一点零比特。

1. 该随机试验仅有两种结果：正面和反面

2. 该概率分布为零点九和零点一

这适用于本例中这枚有偏硬币。

1. 声音
   观察依据

   讲解员说道：“你最初对 X 存在某种不确定性，即 $H(X)$。现在，你观测另一个变量 Y。在观测到 Y 后，你对 X 剩余的不确定性即为条件熵……注意，这个值更小。观测 Y 减少了你的不确定性。”

2. 动画
   观察依据

   一个标注为 $H(X)$ 的高矩形位于左侧，经由一条标注为“观测 Y”的箭头变换为右侧一个标注为 H(X|Y) 的较矮矩形。

1. 该视频通过直观动画传达了“观测 Y 会减小剩余不确定性”这一思想，但并未给出一般性的严格证明。

在视频所采用的直观框架下，观测另一个变量 Y 将关于 X 的不确定性从〔H of X〕减小到〔H of X given Y〕，二者之差即为互信息〔I of X semicolon Y〕。

1. X 与 Y 之间存在信息性关联

2. Y 被观测

视频以一般性方式呈现该内容，但本片段未详述严格的条件或证明。

1. 声音
   观察依据

   讲解者依次指出维恩图中的左圆、右圆、交集、左新月形、右新月形以及整体区域。

2. 图示
   观察依据

   维恩图中〔H of X〕、〔H of Y〕、〔I of X semicolon Y〕、〔H of X given Y〕和〔H of Y given X〕的位置与讲解内容一致。

1. 联合熵符号未出现在画面上，仅以口头名称提及。

左圆表示〔H of X〕，右圆表示〔H of Y〕，其交集表示〔I of X semicolon Y〕，左新月形表示〔H of X given Y〕，右新月形表示〔H of Y given X〕，两圆并集表示联合熵。

1. 讨论两个随机变量 X 与 Y 之间的熵分解

这一结论适用于该韦恩图可视化方法。

1. 公式
   观察依据

   独立情形图示中，同时展示了 $p(x,y)=p(x)\cdot p(y)$ 以及 I(X;Y)=0。

2. 公式
   观察依据

   相依情形图示中，同时展示了 $p(x,y)\neq p(x)\cdot p(y)$ 以及 I(X;Y)>0。

3. 声音
   观察依据

   讲解者通过对比独立性与相依性指出：在独立情形下，互信息恰好为零；而在相依情形下，互信息变为正值。

1. 该片段通过展示的两种情形来呈现等价关系，而非以带量词的形式化“当且仅当”定理加以陈述。

对于所展示的变量对，独立性对应于联合概率质量函数的可分解性，且 I(X;Y)=0；而相依性对应于不可分解性，且 I(X;Y)>0。

1. X 和 Y 是随机变量，其联合概率质量函数为 $p(x,y)$，边缘概率质量函数分别为 $p(x)$ 和 $p(y)$。

2. 该比较是在独立情形与相依情形之间进行的。

对于所展示的变量对 (X,Y)：若 $p(x,y)=p(x)p(y)$，则 I(X;Y)=0；若 $p(x,y)\neq p(x)p(y)$，则 I(X;Y)>0。

1. 公式
   观察依据

   所展示的等式为 I(X;Y)=I(Y;X)。

2. 声音
   观察依据

   讲述者明确指出，互信息具有完美的对称性。

互信息满足〔I(X;Y)〕=〔I(Y;X)〕。

1. X 和 Y 是互信息有定义的随机变量。

对所有此类数对〔(X,Y)〕成立。

1. 声音
   观察依据

   讲解员首先定义 $H(X)$，然后在观测 Y 后定义 H(X|Y)，最后说道：“这两者之间的差值，就是互信息。”

2. 公式
   观察依据

   屏幕显示 I(X;Y) = $H(X) - H$(X|Y)。

3. 动画
   观察依据

   绿色区域恰好对应左侧矩形与右侧矩形的高度差。

1. 公式

   $$H(X)$$
   解释

   从对 X 的初始不确定性出发

   步骤依据

   视频将左侧的高矩形标注为 $H(X)$，讲解员指出这是关于 X 的初始不确定性。

   视频直接表达
2. 公式

   $$\text{observe } Y$$
   解释

   引入对另一变量 Y 的观察

   步骤依据

   中心处有一条箭头，上面写着“观察 Y”

   视频直接表达
3. 公式

   $$H(X|Y)$$
   解释

   在观察 Y 之后，对 X 剩余的不确定性记为条件熵。

   步骤依据

   讲述者明确说道：“你对 X 剩余的不确定性就是条件熵，即 H〔X｜Y〕”，右侧的较矮矩形也标有 H〔X｜Y〕。

   视频直接表达
4. 公式

   $$I(X;Y) = H(X) - H(X|Y)$$
   解释

   互信息被定义为初始熵与条件熵之差。

   步骤依据

   讲述者说：“这两者之间的空白区域，就是互信息”，同时公式出现在底部。

   视频直接表达

互信息可以理解为‘在观测 Y 之前对 X 的不确定性’减去‘在观测 Y 之后对 X 剩余的不确定性’。

1. 声音
   观察依据

   讲述者依次描述左侧圆、右侧圆、交集、左侧新月形、右侧新月形以及整个区域。

2. 图示
   观察依据

   维恩图中各区域的标签与讲述内容一一对应。

1. 标准的联合熵符号未写出，仅使用其口语名称。

1. 公式

   $$H(X)$$
   解释

   左侧圆表示 X 的熵。

   步骤依据

   讲述者说：“左边标一个 H of X”，且 H of X 标注在左侧圆外部。

   视频直接表达
2. 公式

   $$H(Y)$$
   解释

   右侧圆表示 Y 的熵。

   步骤依据

   讲述者说：“右边标一个 H of Y”，且 H of Y 标注在右侧圆外部。

   视频直接表达
3. 公式

   $$I(X;Y)$$
   解释

   两圆的交集表示互信息。

   步骤依据

   讲述者说：“重叠部分即互信息”，I〔X；Y〕标注在两圆交集中。

   视频直接表达
4. 公式

   $$H(X|Y)$$
   解释

   左侧新月形表示在已知 Y 的条件下，关于 X 的剩余不确定性。

   步骤依据

   讲述者说：“左侧新月形区域表示给定Y时X的条件熵”，H〔X|Y〕标注在左侧新月形区域中。

   视频直接表达
5. 公式

   $$H(Y|X)$$
   解释

   右侧新月形表示在已知 X 的条件下，关于 Y 的剩余不确定性。

   步骤依据

   讲述者说：“右侧新月形区域表示给定X时Y的条件熵”，H〔Y|X〕标注在右侧新月形区域中。

   视频直接表达
6. 公式

   $$\text{joint entropy}$$
   解释

   两个圆的并集表示联合熵。

   步骤依据

   讲解者说：“整个区域，即两个圆合在一起，就是联合熵。”

   视频直接表达

该维恩图可视化了 $H(X)$、$H(Y)$、I(X;Y)、H(X|Y)、H(Y|X) 以及联合熵之间的空间关系。

1. 图示
   观察依据

   文氏图中，左侧圆圈标记为〔$H(X)$〕，右侧圆圈标记为〔$H(Y)$〕，重叠部分标记为〔I(X;Y)〕，独占部分分别标记为〔H(X|Y)〕和〔H(Y|X)〕，并集部分标记为〔$H(X,Y)$〕。

2. 公式
   观察依据

   最终展示的恒等式为〔I(X;Y)〕=〔$H(X)$〕+〔$H(Y)$〕−〔$H(X,Y)$〕。

1. 公式

   $$$$
   解释

   将左侧圆圈读作〔$H(X)$〕，右侧圆圈读作〔$H(Y)$〕。

   步骤依据

   图中直接标出。

   视频直接表达
2. 公式

   $$$$
   解释

   将两个圆圈的并集读作联合熵〔$H(X,Y)$〕。

   步骤依据

   横跨两个圆圈下方的大括号标记为〔$H(X,Y)$〕。

   视频直接表达
3. 公式

   $$$$
   解释

   将交集区域读作互信息 〔I(X;Y)〕。

   步骤依据

   重叠区域标记为 〔I(X;Y)〕。

   视频直接表达
4. 公式

   $$I(X;Y)=H(X)+H(Y)-H(X,Y)$$
   解释

   在双圆图上应用容斥原理：将两个完整圆的面积相加会把重叠区域计算两次，因此减去并集面积后，恰好剩下交集面积。

   步骤依据

   维恩图所编码的视觉集合区域关系。

   依据视频推导

该图导出公式 〔I(X;Y)=$H(X)+H(Y)-H(X,Y)$〕。

1. 公式
   观察依据

   第一行显示的公式是 〔I(X;Y)=D_{KL}($p(x,y)$ || $p(x)p(y)$)〕。

2. 公式
   观察依据

   第二行显示的公式是 〔=$\sum_{x,y} p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$〕。

3. 声音
   观察依据

   讲述者将参考分布描述为‘若变量相互独立时，联合分布所呈现的样子’。

1. 该片段在应用前并未明确写出 〔D_{KL}〕 的一般定义。

2. 未说明对数的底数。

1. 公式

   $$I(X;Y)=D_{KL}(p(x,y) || p(x)p(y))$$
   解释

   将互信息等同于从实际联合分布到独立乘积分布的 KL 散度。

   步骤依据

   显示公式并配以口述解释。

   视频直接表达
2. 公式

   $$=\sum_{x,y} p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$$
   解释

   将离散 KL 散度公式应用于 $P=p(x,y)$ 和 $Q=p(x)p(y)$，得到对所有 (x,y) 的求和：联合概率乘以对数比值。

   步骤依据

   离散分布 KL 散度 D_{KL} 的标准定义，代入图中所示的两个分布。

   依据视频推导

所展示的互信息等于该求和形式的对数比值。

1. 声音
   观察依据

   讲解者完整描述了公平硬币示例，并给出其熵值。

2. 图示
   观察依据

   在‘公平硬币’下方，两个柱状条均标有零点五，其下方写有 H 等于一点零比特。

比较单次公平硬币投掷的不确定性程度，并给出其熵值。

1. 实验结果为正面或反面

2. 对应的式子为：$P(H)=0.5$

3. 对应的式子为：$P(T)=0.5$

解释该分布的不确定性与熵。

1. 公式

   $$P(H)=0.5,\quad P(T)=0.5$$
   解释

   列出公平硬币的两个等概率结果。

   步骤依据

   屏幕显示“公平硬币”下方有两个等高的蓝色条形图，每个均标注为零点五。

   视频直接表达
2. 公式

   $$H = 1.0\ \text{bit}$$
   解释

   给出该公平二元分布的熵值。

   步骤依据

   讲解员说：“此处的熵恰好为一比特”，屏幕下方显示 H 等于一点零比特。

   视频直接表达

$H = 1.0$比特

与后续的有偏硬币示例形成对比：越不均匀的分布，其熵越低。

1. 声音
   观察依据

   讲解员完整描述有偏硬币示例，并给出其熵值。

2. 图示
   观察依据

   在“有偏硬币”下方，两个红色条形图分别标注零点九和零点一，其下方写有 H 等于零点四七比特。

比较单次有偏硬币抛掷的不确定性程度，并给出其熵值。

1. 实验结果为正面或反面。

2. 对应的式子为：$P(H)=0.9$

3. 对应的式子为：$P(T)=0.1$

解释该分布的不确定性与熵。

1. 公式

   $$P(H)=0.9,\quad P(T)=0.1$$
   解释

   列出有偏硬币两种概率不等的结果。

   步骤依据

   屏幕在“有偏硬币”下方显示两个红色条形，分别标注为零点九和零点一。

   视频直接表达
2. 公式

   $$H = 0.47\ \text{bits}$$
   解释

   给出该有偏二元分布的熵值。

   步骤依据

   解说员说：“熵下降至仅零点四七比特”，屏幕下方显示 H 等于零点四七比特。

   视频直接表达

$H = 0.47$比特

与均匀硬币的一点零比特相比，这说明：当概率分布趋于集中时，熵随之减小。

1. 动画
   观察依据

   黑色背景上显示标题“一个天气谜题”，左侧为灰色云团，右侧为蓝色雨滴，中央为黄色问号，底部出现“互信息”。

2. 声音
   观察依据

   讲解者通过云与雨之间的关系引出互信息的概念。

1. 标题：一个天气谜题

2. 灰色云团

3. 蓝色雨滴

4. 黄色问号

5. 文字：互信息

1. 标题最先出现

2. 随后云和雨滴出现

3. 接着问号出现

4. 最后出现‘互信息’文字

1. 云始终停留在左侧，雨始终停留在右侧

2. 问号位于二者之间，表示一种未知的关系

利用可观测事件“云”和可推断事件“雨”，直观地将互信息引入为不确定性的减少

1. 动画
   观察依据

   公平硬币和有偏硬币的条形图依次出现，分别显示其信息熵为一比特和零点四七比特。

1. 公平硬币标题

2. 两个等高的蓝色条形

3. 有偏硬币标题

4. 两个不等高的红色条形

5. 熵值标签

1. 首先展示公平硬币的零点五比零点五分布

2. 然后展示有偏硬币的零点九比零点一分佈

3. 每个分布下方均附有其对应的熵值

1. 每组仅有两种结果：正面和反面

2. 柱高表示概率的大小

通过柱高的均匀性直观地说明：随着概率分布越来越集中，熵随之减小。

1. 动画
   观察依据

   左侧是一个标有$H(X)$的高矩形，中间是一个标有“观察Y”的箭头，右侧是一个标有H(X|Y)的较矮矩形，上方绿色区域标有I(X;Y)，底部写有公式。

1. 高矩形〔H of X〕

2. 箭头：观察Y

3. 较矮矩形〔H of X given Y〕

4. 上方绿色区域〔I of X semicolon Y〕

5. 公式：〔I of X semicolon Y〕等于〔H of X〕减去〔H of X given Y〕

1. 左侧的高矩形首先出现

2. 随后向右的箭头出现

3. 接着，右侧出现一个较短的矩形

4. 最后，绿色区域及其对应的公式突显出二者之差

1. 这些矩形宽度相近；高度之差表示信息增益

2. 绿色区域始终位于右侧矩形的上方

矩形高度表示不确定性的大小；绿色的差值区域表示通过观测 Y 所减少的那部分不确定性

1. 图示
   观察依据

   两个重叠的圆逐渐被标注为$H(X)$、$H(Y)$、I(X;Y)、H(X|Y)和H(Y|X)。

2. 声音
   观察依据

   讲解者按区域顺序逐一解释各部分

1. 联合熵仅以口头方式命名，未以符号形式写出

1. 左侧圆：$H(X)$

2. 右侧圆：$H(Y)$

3. 交集为 I〔X;Y〕

4. 给定Y时X的左弯月形熵

5. 给定X时Y的右弯月形熵

6. 整体并集联合熵

1. 先绘制左圆

2. 再绘制右圆以形成重叠区域

3. 依次添加交集、左弯月形和右弯月形的标签

4. 最后，讲解者口头指出整个图形代表联合熵

1. 左圆始终表示X的总熵

2. 右圆始终表示Y的总熵

3. 交集始终表示共享信息

用集合面积类比信息量，将熵、条件熵、互信息与联合熵之间的关系空间化。

1. 图示
   观察依据

   黑色背景上出现两个重叠的圆：左侧蓝色圆标为 $H(X)$，右侧红色圆标为 $H(Y)$，重叠区域标为 I(X;Y)，独有区域分别标为 H(X|Y) 和 H(Y|X)，下方用花括号标注 $H(X,Y)$。

2. 公式
   观察依据

   恒等式 I(X;Y) = $H(X) + H(Y) - H(X,Y)$ 写在图下方。

1. 代表 $H(X)$ 的蓝色圆

2. 代表 $H(Y)$ 的红色圆

3. 重叠区域 I(X;Y)

4. 左侧独有区域 H(X|Y)

5. 右侧独有区域 H(Y|X)

6. 用花括号标注的并集 $H(X,Y)$

1. 公式 I(X;Y)=$H(X)+H(Y)-H(X,Y)$ 在已显示的图示下方被引入。

1. 圆圈颜色与区域标签在此时间段内保持不变。

2. 重叠区域持续表示共享信息。

该图示将联合熵编码为并集，边缘熵编码为完整的圆，互信息编码为交集。

1. 图示
   观察依据

   标有“独立”的正方形网格均匀填充橙色。

2. 公式
   观察依据

   其下方出现 $p(x,y)=p(x)\cdot p(y)$ 与 I(X;Y)=0。

1. 以 x 为横坐标、y 为纵坐标的正方形网格

2. 均匀的橙色着色

3. 公式 $p(x,y)=p(x)p(y)$ 与 I(X;Y)=0

1. ‘独立性 vs 依赖性’标题之后引入独立面板。

1. 网格中未出现对角线或局部集中的现象。

2. 所有单元格的颜色强度相同。

均匀着色直观呈现了一种联合分布，该分布不存在特殊的依赖模式，对应于可分解为边缘分布且互信息为零的情形。

1. 图示
   观察依据

   第二个标注为“Dependent”的正方形网格沿对角线带状区域呈现较深的橙色集中。

2. 公式
   观察依据

   其下方显示 $p(x,y)\neq p(x)\cdot p(y)$ 和 I(X;Y)>0。

1. 着色背后的确切数值概率并未给出。

1. 第二个以 x 和 y 为索引的正方形网格

2. 对角线方向的深橙色带状区域

3. 公式 $p(x,y)\neq p(x)p(y)$ 和 I(X;Y)>0

1. 依赖面板位于独立面板的右侧。

2. 着色从均匀状态转变为沿对角线结构的集中状态。

1. 坐标轴仍分别表示 x 和 y。

2. 联合结构与边际乘积基线之间的对比依然存在。

对角线上的集中区域可视化了联合分布律中的统计结构，对应于不可分解性及正的互信息。

1. 动画
   观察依据

   两个独立的圆——一个蓝色，一个红色——彼此靠近，直至大幅重叠。

2. 图示
   观察依据

   随着重叠程度增大，字幕文字从“无共享信息”变为“部分共享信息”，再变为“高度依赖”。

3. 声音
   观察依据

   旁白指出：当两圆相距较远时，不存在共享信息；而随着两圆逐渐靠近，互信息随之增大。

1. 蓝色圆

2. 红色圆

3. 逐渐增大的透镜状重叠区域

4. 变化的字幕文字

1. 两圆初始处于分离状态。

2. 它们逐渐靠近，直至形成一个小的重叠区域。

3. 它们继续移动，直至重叠区域变得较大。

1. 两个圆保持各自的色彩。

2. 重叠区域始终代表共享的信息。

该动画将几何上的重叠映射为互信息的增加以及依赖性的增强。

1. 动画
   观察依据

   公平硬币与有偏硬币均有正反两种结果，但它们的熵分别为一点零比特和零点四七比特。

2. 声音
   观察依据

   讲述者强调，公平硬币具有“最大不确定性”，而有偏硬币的不确定性则“小得多”。

人们可能错误地认为，只要可能结果的数量相同，不确定性就一定相同。

视频通过两枚各有两种结果但概率不同的硬币说明：熵还取决于概率分布的均匀程度。

1. 动画
   观察依据

   绿色区域仅占据右侧矩形上部区域的一部分，而非整个左侧矩形。

2. 公式
   观察依据

   公式写作I(X;Y) = $H(X) - H$(X|Y)。

有人可能错误地将$H(X)$本身当作互信息。

视频明确指出，互信息是$H(X)$与H(X|Y)之间的差值——即通过观察Y所减少的不确定性部分。

1. 声音
   观察依据

   讲述者区分了“重叠部分，即互信息”与“整个区域，即两个圆的并集，也就是联合熵”。

2. 图示
   观察依据

   交集处标注为 I〔X；Y〕，而两个圆的并集对应联合熵。

人们可能会错误地将整个双圆区域视为互信息。

视频明确指出：两圆交集是互信息，两圆并集是联合熵，左右两侧的新月形区域则分别是两个方向的条件熵。

1. 公式
   观察依据

   所显示的公式 I(X;Y)=I(Y;X) 紧随 KL 散度表达式之后出现。

2. 声音
   观察依据

   讲解者强调：X 关于 Y 所提供的信息，恰好等于 Y 关于 X 所提供的信息。

人们可能认为 I(X;Y) 仅衡量 X 关于 Y 所揭示的信息，因此与 I(Y;X) 不同。

该片段明确指出：互信息具有对称性，即 I(X;Y)=I(Y;X)。

1. 公式
   观察依据

   独立面板显示 I(X;Y)=0，其中 $p(x,y)=p(x)p(y)$。

2. 公式
   观察依据

   依赖面板显示 I(X;Y)>0，其中 $p(x,y)\neq p(x)p(y)$。

3. 声音
   观察依据

   讲述者直接对比了这两种情况。

人们可能认为，即使变量间存在某种模式，只要它们相互依赖，互信息仍可能为零。

在视频片段中，依赖性对应联合分布不可分解，且互信息严格大于零；而零互信息则专用于独立情形。

1. 声音
   观察依据

   讲述者说：“在讨论共享信息之前，我们需要一种度量不确定性本身的方法，那就是熵。”

视频首先建立熵的概念，再以此为基础定义互信息。

1. 公式
   观察依据

   画面上写着：$I(X;Y) = H(X) - H(X|Y)$。

2. 声音
   观察依据

   讲述者先定义条件熵，再将二者的差定义为互信息。

互信息公式直接依赖于条件熵的定义。

1. 声音
   观察依据

   讲述者将 H(X|Y) 描述为在观测到 Y 之后关于 X 的剩余不确定性。

2. 动画
   观察依据

   右侧较短的矩形与左侧较高的矩形形成对比。

条件熵是在“Y 已知”这一条件下关于 X 的剩余不确定性，它建立在熵这一先前概念的基础之上。

1. 公式
   观察依据

   I(X;Y) = $H(X) - H$(X|Y) 首先出现。

2. 图示
   观察依据

   随后，维恩图以视觉方式映射了 $H(X)$、$H(Y)$、I(X;Y)、H(X|Y)、H(Y|X) 以及联合熵之间的空间关系。

维恩图是前述公式与概念关系的直观应用。

1. 动画
   观察依据

   均匀硬币与有偏硬币的例子出现在正式熵公式之前。

2. 声音
   观察依据

   讲述者首先通过例子说明最大不确定性与降低的不确定性，再给出正式定义。

两个硬币例子具体展示了熵如何随概率分布而变化。

1. 动画
   观察依据

   有偏硬币的例子紧接在均匀硬币的例子之后，形成对比。

有偏硬币的例子同样说明：熵衡量的是概率分布的均匀程度。

1. 公式
   观察依据

   视频片段先给出 I(X;Y)=$H(X)+H(Y)-H(X,Y)$，随后又给出 I(X;Y)=D_{KL}($p(x,y)$||$p(x)p(y)$)。

2. 声音
   观察依据

   讲述者在介绍前述恒等式及独立性/依赖性讨论之后，将 KL 视角称为‘思考互信息或许最深刻的方式’。

熵重叠恒等式以及独立性/依赖性的对比，为后续将互信息重新诠释为‘到独立联合分布的距离’做了铺垫。

1. 公式
   观察依据

   独立情形写作 $p(x,y)=p(x)p(y)$，且 I(X;Y)=0。

2. 公式
   观察依据

   KL 公式将 $p(x,y)$ 与 $p(x)p(y)$ 进行比较。

在 KL 表达式中，独立性是基准情形：它恰好对应联合分布等于用作比较分布的乘积分布的情形。

1. 公式
   观察依据

   依赖情形面板写为 $p(x,y)\neq p(x)p(y)$，且 I(X;Y)>0。

2. 声音
   观察依据

   讲述者明确对比了依赖性与独立性。

依赖情形在因式分解和互信息符号两方面，均被呈现为独立情形的对立面。

1. 公式
   观察依据

   KL 表达式为 I(X;Y)=D_{KL}($p(x,y)$||$p(x)p(y)$)。

2. 公式
   观察依据

   下一个显示的公式是 I(X;Y)=I(Y;X)。

3. 声音
   观察依据

   讲述者说：‘请注意一个优美的性质：它完全对称。’

1. 该片段未逐步展示对称性的代数证明。

由于联合分布 $p(x,y)$ 和参考乘积分布 $p(x)p(y)$ 在交换 X 与 Y 时均具有对称性，KL 表达式支持所陈述的对称性 I(X;Y)=I(Y;X)。

1. 图示
   观察依据

   初始的韦恩图将重叠区域本身标记为 I(X;Y)。

2. 公式
   观察依据

   随后显示公式 I(X;Y)=I(Y;X)。

重叠解释本身已暗示对称性，因为共享区域同等属于两个圆；后续公式则明确陈述了这一点。

1. 声音
   观察依据

   讲述者直接提问并回答：“它叫互信息。”

1. 互信息的直观含义

1. 声音
   观察依据

   讲述者说：“在讨论共享信息之前，我们需要一种方法来度量不确定性本身。”

1. 熵的定义
2. 互信息的直观含义

1. 图示
   观察依据

   均匀硬币与有偏硬币的条形图及其对应的熵值并排显示。

1. 熵的定义
2. 公平硬币的熵
3. 有偏硬币的熵

1. 公式
   观察依据

   屏幕显示$H(X) = -\sum$ₓ $P(X) \log$₂$P(X)$。

1. 熵的定义
2. $H(X)$
3. $p(x)$
4. $\log_2$

1. 声音
   观察依据

   讲解者将H(X|Y)定义为关于X的剩余不确定性。

1. 条件熵
2. H(X|Y)

1. 公式
   观察依据

   底部显示 I(X;Y) = $H(X) - H$(X|Y)。

1. 互信息的公式
2. 互信息由熵的差值获得。

1. 图示
   观察依据

   维恩图的每个区域分别标注为 $H(X)$、$H(Y)$、I(X;Y)、H(X|Y) 和 H(Y|X)。

1. 互信息的维恩图表示法
2. 维恩图中每个区域所对应的各类信息量

1. 公式
   观察依据

   显示的恒等式为 I(X;Y)=$H(X)+H(Y)-H(X,Y)$。

2. 图示
   观察依据

   重叠区域标记为 I(X;Y)。

1. 互信息的文氏图恒等式

1. 公式
   观察依据

   独立面板显示 $p(x,y) = p(x)p(y)$，且 I(X;Y) = 0。

2. 公式
   观察依据

   依赖面板显示 $p(x,y) \ne p(x)p(y)$，且 I(X;Y) > 0。

1. 通过因式分解与零互信息刻画独立性
2. 通过不可因式分解与正互信息刻画依赖性
3. 互信息恰好在独立情形下消失。

1. 公式
   观察依据

   屏幕上显示 I(X;Y) = D_{KL}($p(x,y)$ || $p(x)p(y)$)。

2. 声音
   观察依据

   讲解者将其描述为联合分布与该联合分布的独立版本之间的散度。

1. 互信息作为相对于独立性的 KL 散度

1. 公式
   观察依据

   展开后的表达式为 = $\sum _{x,y} p(x,y) \log [p(x,y) / (p(x)p(y))]$。

1. 对数的底数未指定。

1. 互信息作为相对于独立性的 KL 散度
2. 展开互信息的 KL 散度公式。

1. 公式
   观察依据

   屏幕上显示的等式为 I(X;Y) = I(Y;X)。

2. 声音
   观察依据

   讲解者称互信息具有完美的对称性。

1. 互信息的对称性
2. 互信息的对称性主张