跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「为什么当变量独立时互信息等于零?」

4 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

理解原因

↗

当 XX 和 YY 独立时,知道其中一个并不能告诉你关于另一个的任何信息。在数学上,联合分布分解为边际分布的乘积,即 p(x,y)=p(x)⋅p(y)p(x,y) = p(x) \cdot p(y)。

适用条件:适用于 XX 和 YY 独立的情况。;显示的记号使用概率质量函数 p(x)p(x)、p(y)p(y) 和 p(x,y)p(x,y)。

认识概念

↗

在熵的韦恩图中,左圆代表熵 H(X)H(X),右圆代表 H(Y)H(Y)。它们的交集代表互信息 I(X;Y)I(X;Y)。

适用条件:适用于说明两个离散随机变量 XX 和 YY 之间的信息分解。

认识概念

↗

是的,互信息是完全对称的。公式 I(X;Y)=I(Y;X)I(X;Y) = I(Y;X) 成立。

适用条件:适用于定义互信息的任意一对随机变量 XX 和 YY。

掌握方法

↗

互信息 I(X;Y)I(X;Y) 与边际熵 H(X)H(X)、H(Y)H(Y) 以及联合熵 H(X,Y)H(X,Y) 之间的关系由恒等式 I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y) = H(X) + H(Y) - H(X,Y) 给出。这是从韦恩图中推导出来的,其中两个熵圆的并集是联合熵,它们的交集是互信息。

适用条件:XX 和 YY 是具有有限熵的随机变量。;该图将 H(X,Y)H(X,Y) 视为两个熵圆的并集,将 I(X;Y)I(X;Y) 视为它们的交集。