在韦恩图中,交集、左右新月形以及整体区域分别对应哪些信息量?
在熵的韦恩图中,左圆代表熵 ,右圆代表 。它们的交集代表互信息 。左新月形(左圆不重叠的部分)代表条件熵 ,右新月形代表 。整个区域,即两个圆的并集,代表联合熵。
适用条件
- 适用于说明两个离散随机变量 和 之间的信息分解。
理解与推导
- 将左圆识别为 ,右圆识别为 。
- 定位两个圆的交集,对应于 。
- 将左新月形识别为已知 时关于 的剩余不确定性,即 。
- 将右新月形识别为已知 时关于 的剩余不确定性,即 。
- 将两个圆的并集识别为联合熵。
例子
视频画了两个重叠的圆。旁白指出:“重叠部分是互信息……左新月形是给定 Y 的 X 的条件熵……右新月形是给定 X 的 Y 的条件熵。整个区域,即两个圆合在一起,是联合熵。”
容易误解的地方
- 误将整个双圆区域(并集)当作互信息;并集是联合熵,只有交集才是互信息。
- 混淆左右新月形;左新月形是 ,右新月形是 。
观看对应讲解
相关概念
继续追问
相关问题
认识概念↗
条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后,关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。
适用条件:X 和 Y 是离散随机变量。;求和是在联合字母表 上进行的。
YouTube信息论导论:熵——第6部分——条件熵
0:00 – 2:15原站看这一段 ↗
理解原因↗
联合熵 不等于 ,因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 (X;Y)。
适用条件:X 和 Y 是可能共享信息的随机变量(即它们不一定独立)。
YouTube信息论导论:熵——第6部分——条件熵
3:09 – 3:36原站看这一段 ↗
理解原因↗
认识概念↗
认识概念↗
当条件熵 H(X|Y) 为零时,意味着一旦知道 Y,关于 X 就没有剩余的不确定性或惊讶。这表明 X 是 Y 的确定性函数,因此关于 X 的所有信息都完全包含在 Y 中。
适用条件:X 和 Y 是离散随机变量。
YouTube信息论导论:熵——第6部分——条件熵
4:55 – 5:15原站看这一段 ↗
答案依据视频资料生成并经过独立核验。若有疑问,请核对原视频或联系原作者。