什么时候条件熵 H(X|Y) 等于无条件熵 $H(X)$？

条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。

适用条件：X 和 Y 是离散随机变量。；求和是在联合字母表 $A_x \times A_y$ 上进行的。

联合熵 $H(X,Y)$ 不等于 $H(X) + H(Y)$，因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 $H(X,Y) = H(X) + H(Y) - I$(X;Y)。

适用条件：X 和 Y 是可能共享信息的随机变量（即它们不一定独立）。

当条件熵 H(X|Y) 为零时，意味着一旦知道 Y，关于 X 就没有剩余的不确定性或惊讶。这表明 X 是 Y 的确定性函数，因此关于 X 的所有信息都完全包含在 Y 中。

适用条件：X 和 Y 是离散随机变量。

条件熵是 X 和 Y 的联合熵与 Y 的边缘熵之差。这种关系由熵链式法则表示：H(X|Y) = $H(X,Y) - H(Y)$。

适用条件：X 和 Y 是具有良好定义的联合熵和边缘的离散随机变量。

条件熵 H(X|Y) 被 $0 \le H$(X|Y) ≤ $H(X)$ 所界定，因为学习 Y 的值提供了只能减少或保持不变的关于 X 的平均不确定性的信息；它在平均意义上不能增加不确定性。

适用条件：X 和 Y 是离散随机变量。