跳到内容
← 全部问题

在韦恩图中,交集、左右新月形以及整体区域分别对应哪些信息量?

在熵的韦恩图中,左圆代表熵 H(X)H(X),右圆代表 H(Y)H(Y)。它们的交集代表互信息 I(X;Y)I(X;Y)。左新月形(左圆不重叠的部分)代表条件熵 H(X∣Y)H(X|Y),右新月形代表 H(Y∣X)H(Y|X)。整个区域,即两个圆的并集,代表联合熵。

适用条件

  • 适用于说明两个离散随机变量 XX 和 YY 之间的信息分解。

理解与推导

  1. 将左圆识别为 H(X)H(X),右圆识别为 H(Y)H(Y)。
  2. 定位两个圆的交集,对应于 I(X;Y)I(X;Y)。
  3. 将左新月形识别为已知 YY 时关于 XX 的剩余不确定性,即 H(X∣Y)H(X|Y)。
  4. 将右新月形识别为已知 XX 时关于 YY 的剩余不确定性,即 H(Y∣X)H(Y|X)。
  5. 将两个圆的并集识别为联合熵。

例子

视频画了两个重叠的圆。旁白指出:“重叠部分是互信息……左新月形是给定 Y 的 X 的条件熵……右新月形是给定 X 的 Y 的条件熵。整个区域,即两个圆合在一起,是联合熵。”

容易误解的地方

  • 误将整个双圆区域(并集)当作互信息;并集是联合熵,只有交集才是互信息。
  • 混淆左右新月形;左新月形是 H(X∣Y)H(X|Y),右新月形是 H(Y∣X)H(Y|X)。

观看对应讲解

相关概念

继续追问

相关问题

认识概念

↗
理解原因

↗
理解原因

↗

答案依据视频资料生成并经过独立核验。若有疑问,请核对原视频或联系原作者。