← 全部问题公式 I(X;Y)=D_KL(p(x,y)||p(x)p(y)) 在概念上意味着什么？
在概念上，这个公式将互信息识别为实际联合分布
p(x,y) 与独立参考分布
p(x)p(y) 之间的库尔贝克-莱布勒（KL）散度。它衡量了实际联合分布偏离纯粹独立性的程度。展开的求和形式将其明确为在联合分布下，联合分布与独立乘积分布之比对数的期望。
适用条件
- 显示的推导适用于使用概率质量函数的离散分布。
- 比率形式要求在求和支持集上 p(x,y)>0 且 p(x)p(y)>0。
理解与推导
- 识别实际联合分布 p(x,y)。
- 识别独立参考分布 p(x)p(y)。
- 认识到 KL 散度衡量这两个分布之间的距离。
- 得出互信息量化了联合分布偏离独立性的程度的结论。
例子
旁白将其描述为“联合分布与如果变量独立时联合分布看起来的样子之间的 KL 散度”。屏幕上显示 I(X;Y)=DKL(p(x,y)∣∣p(x)p(y))=∑x,yp(x,y)logp(x)p(y)p(x,y)。
容易误解的地方
- 假设 KL 散度是对称的；视频没有说明 DKL(P∣∣Q)=DKL(Q∣∣P)，尽管它后来声明互信息本身是对称的。
- 认为该公式未经修改就适用于连续分布；片段明确使用了离散概率质量函数。
相关问题
认识概念↗ 条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。
适用条件：X 和 Y 是离散随机变量。；求和是在联合字母表 Ax×Ay 上进行的。
理解原因↗ 联合熵 H(X,Y) 不等于 H(X)+H(Y)，因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 H(X,Y)=H(X)+H(Y)−I(X;Y)。
适用条件：X 和 Y 是可能共享信息的随机变量（即它们不一定独立）。
认识概念↗ 在熵的韦恩图中，左圆代表熵 H(X)，右圆代表 H(Y)。它们的交集代表互信息 I(X;Y)。
适用条件：适用于说明两个离散随机变量 X 和 Y 之间的信息分解。
当 X 和 Y 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 p(x,y)=p(x)⋅p(y)。
适用条件：适用于 X 和 Y 独立的情况。；显示的记号使用概率质量函数 p(x)、p(y) 和 p(x,y)。
是的，互信息是完全对称的。公式 I(X;Y)=I(Y;X) 成立。
适用条件：适用于定义互信息的任意一对随机变量 X 和 Y。
答案依据视频资料生成并经过独立核验。若有疑问，请核对原视频或联系原作者。