为什么当变量独立时互信息等于零？

当 $X$ 和 $Y$ 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 $p(x,y) = p(x) \cdot p(y)$。因为除了边际分布的乘积之外没有共享信息或统计结构，所以互信息 $I(X;Y)$ 恰好为零。

当

X

和

Y

独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即

p(x,y) = p(x) \cdot p(y)

。因为除了边际分布的乘积之外没有共享信息或统计结构，所以互信息

I(X;Y)

恰好为零。

适用条件

视频在“Independent”（独立）标题下显示了一个均匀填充橙色的正方形网格，其下方显示公式 $p(x,y)=p(x)\cdot p(y)$ 和 $I(X;Y)=0$ 。