← 全部问题为什么互信息等于 H(X) 减去 H(X|Y)？
互信息
I(X;Y) 代表在观察到
Y 之后关于
X 的不确定性减少量。
H(X) 是关于
X 的初始不确定性，而
H(X∣Y) 是已知
Y 之后的剩余不确定性。因此，初始熵与条件熵之间的差值
H(X)−H(X∣Y) 准确地量化了通过观察
Y 获得了多少关于
X 的信息。
适用条件
- X 和 Y 是随机变量。
- H(X) 和 H(X∣Y) 使用相同的单位制。
理解与推导
- 从关于 X 的初始不确定性开始，记为 H(X)。
- 观察另一个变量 Y。
- 确定观察 Y 后关于 X 的剩余不确定性，记为 H(X∣Y)。
- 计算初始不确定性与剩余不确定性之间的差距。
- 得出该差距即为互信息 I(X;Y)=H(X)−H(X∣Y) 的结论。
例子
在视觉上，一个标记为 H(X) 的高矩形在观察 Y 后转变为标记为 H(X∣Y) 的较矮矩形。代表高度差的绿色区域被标记为 I(X;Y)。
容易误解的地方
- 将 H(X) 本身视为互信息；互信息严格来说是 H(X) 和 H(X∣Y) 之间的差值或差距。
- 假设观察 Y 总是会减少不确定性；如果 X 和 Y 独立，则 H(X∣Y)=H(X) 且互信息为零。
相关问题
认识概念↗ 条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。
适用条件：X 和 Y 是离散随机变量。；求和是在联合字母表 Ax×Ay 上进行的。
理解原因↗ 联合熵 H(X,Y) 不等于 H(X)+H(Y)，因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 H(X,Y)=H(X)+H(Y)−I(X;Y)。
适用条件：X 和 Y 是可能共享信息的随机变量（即它们不一定独立）。
认识概念↗ 在熵的韦恩图中，左圆代表熵 H(X)，右圆代表 H(Y)。它们的交集代表互信息 I(X;Y)。
适用条件：适用于说明两个离散随机变量 X 和 Y 之间的信息分解。
当 X 和 Y 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 p(x,y)=p(x)⋅p(y)。
适用条件：适用于 X 和 Y 独立的情况。；显示的记号使用概率质量函数 p(x)、p(y) 和 p(x,y)。
是的，互信息是完全对称的。公式 I(X;Y)=I(Y;X) 成立。
适用条件：适用于定义互信息的任意一对随机变量 X 和 Y。
答案依据视频资料生成并经过独立核验。若有疑问，请核对原视频或联系原作者。