跳到内容
菜单
EN登录
← 全部问题

什么是条件熵 H(X|Y)？对于离散随机变量它是如何定义的？

条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。

适用条件

  • X 和 Y 是离散随机变量。
  • 求和是在联合字母表 Ax×AyA_x \times A_y 上进行的。

理解与推导

  1. 将特定结果 x 和 y 的条件自信息定义为 h(x|y) = -\log_2 p(x|y)。
  2. 在联合概率分布 p(x,y)p(x,y) 上对 h(x|y) 取期望值。
  3. 由此得到公式 H(X|Y) = ∑x∈Ax∑y∈Ayp(x,y)log⁡21p(x∣y)\sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}。

例子

幻灯片显示了公式 H(X|Y) = ∑x∈Ax∑y∈Ayp(x,y)log⁡21p(x∣y)\sum_{x \in A_x} \sum_{y \in A_y} p(x,y) \log_2 \frac{1}{p(x|y)}，并将其定义为如果我们已经知道 Y 的样本 y，关于 X 的样本 x 的剩余平均惊讶程度。

容易误解的地方

  • 将条件熵与联合熵或边缘熵混淆。
  • 假设 H(X|Y) 是 X 的熵减去 Y 的熵，而不是在联合分布上的期望。

观看对应讲解

0:00 – 2:15原站看这一段 ↗

相关概念

条件熵 →

继续追问

相关问题

理解原因

↗

答案依据视频资料生成并经过独立核验。若有疑问，请核对原视频或联系原作者。