跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「为什么条件熵总是小于或等于无条件熵?」

4 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

理解原因

↗

条件熵 H(X|Y) 被 0≤H0 \le H(X|Y) ≤ H(X)H(X) 所界定,因为学习 Y 的值提供了只能减少或保持不变的关于 X 的平均不确定性的信息;它在平均意义上不能增加不确定性。

适用条件:X 和 Y 是离散随机变量。

认识概念

↗

条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后,关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。

适用条件:X 和 Y 是离散随机变量。;求和是在联合字母表 Ax×AyA_x \times A_y 上进行的。

判断用途

↗

当且仅当随机变量 X 和 Y 统计独立时,条件熵 H(X|Y) 等于无条件熵 H(X)H(X)。在这种情况下,知道 Y 不提供关于 X 的任何信息,因此不确定性保持不变。

适用条件:X 和 Y 是离散随机变量。

掌握方法

↗

讲师将英文文本建模为马尔可夫链,其中下一个字符 X 的概率取决于前一个字符 Y。通过对上下文进行条件作用,例如知道前一个字母是 Q,对下一个字母(通常是 U)的不确定性大大减少,展示了条件熵 H(X|Y) 如何降低平均码长。

适用条件:源是英文文本。;前一个字符被用作下一个字符的条件信息。