跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「什么时候条件熵等于无条件熵?」

2 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

理解原因

↗

联合熵 H(X,Y)H(X,Y) 不等于 H(X)+H(Y)H(X) + H(Y),因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 H(X,Y)=H(X)+H(Y)−IH(X,Y) = H(X) + H(Y) - I(X;Y)。

适用条件:X 和 Y 是可能共享信息的随机变量(即它们不一定独立)。

理解原因

↗

条件熵 H(X|Y) 被 0≤H0 \le H(X|Y) ≤ H(X)H(X) 所界定,因为学习 Y 的值提供了只能减少或保持不变的关于 X 的平均不确定性的信息;它在平均意义上不能增加不确定性。

适用条件:X 和 Y 是离散随机变量。