为什么条件熵 H(X|Y) 总是小于或等于无条件熵 $H(X)$？

条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。

适用条件：X 和 Y 是离散随机变量。；求和是在联合字母表 $A_x \times A_y$ 上进行的。

联合熵 $H(X,Y)$ 不等于 $H(X) + H(Y)$，因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 $H(X,Y) = H(X) + H(Y) - I$(X;Y)。

适用条件：X 和 Y 是可能共享信息的随机变量（即它们不一定独立）。

在熵的韦恩图中，左圆代表熵 $H(X)$，右圆代表 $H(Y)$。它们的交集代表互信息 $I(X;Y)$。

适用条件：适用于说明两个离散随机变量 $X$ 和 $Y$ 之间的信息分解。

当 $X$ 和 $Y$ 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 $p(x,y) = p(x) \cdot p(y)$。

适用条件：适用于 $X$ 和 $Y$ 独立的情况。；显示的记号使用概率质量函数 $p(x)$、$p(y)$ 和 $p(x,y)$。

是的，互信息是完全对称的。公式 $I(X;Y) = I(Y;X)$ 成立。

适用条件：适用于定义互信息的任意一对随机变量 $X$ 和 $Y$。