跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「什么时候条件熵 H(X|Y) 等于无条件熵 H(X)?」

4 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

判断用途

↗

当且仅当随机变量 X 和 Y 统计独立时,条件熵 H(X|Y) 等于无条件熵 H(X)H(X)。在这种情况下,知道 Y 不提供关于 X 的任何信息,因此不确定性保持不变。

适用条件:X 和 Y 是离散随机变量。

理解原因

↗

联合熵 H(X,Y)H(X,Y) 不等于 H(X)+H(Y)H(X) + H(Y),因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 H(X,Y)=H(X)+H(Y)−IH(X,Y) = H(X) + H(Y) - I(X;Y)。

适用条件:X 和 Y 是可能共享信息的随机变量(即它们不一定独立)。

认识概念

↗

当条件熵 H(X|Y) 为零时,意味着一旦知道 Y,关于 X 就没有剩余的不确定性或惊讶。这表明 X 是 Y 的确定性函数,因此关于 X 的所有信息都完全包含在 Y 中。

适用条件:X 和 Y 是离散随机变量。

理解原因

↗

条件熵 H(X|Y) 被 0≤H0 \le H(X|Y) ≤ H(X)H(X) 所界定,因为学习 Y 的值提供了只能减少或保持不变的关于 X 的平均不确定性的信息;它在平均意义上不能增加不确定性。

适用条件:X 和 Y 是离散随机变量。