你想弄懂什么？

是的，互信息是完全对称的。公式 $I(X;Y) = I(Y;X)$ 成立。

适用条件：适用于定义互信息的任意一对随机变量 $X$ 和 $Y$。

是的，互信息是完全对称的。公式 $I(X;Y) = I(Y;X)$ 成立。

适用条件：适用于定义互信息的任意一对随机变量 $X$ 和 $Y$。

当 $X$ 和 $Y$ 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 $p(x,y) = p(x) \cdot p(y)$。

适用条件：适用于 $X$ 和 $Y$ 独立的情况。；显示的记号使用概率质量函数 $p(x)$、$p(y)$ 和 $p(x,y)$。

当 $X$ 和 $Y$ 独立时，知道其中一个并不能告诉你关于另一个的任何信息。在数学上，联合分布分解为边际分布的乘积，即 $p(x,y) = p(x) \cdot p(y)$。

适用条件：适用于 $X$ 和 $Y$ 独立的情况。；显示的记号使用概率质量函数 $p(x)$、$p(y)$ 和 $p(x,y)$。

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

在概念上，这个公式将互信息识别为实际联合分布 $p(x,y)$ 与独立参考分布 $p(x)p(y)$ 之间的库尔贝克-莱布勒（KL）散度。它衡量了实际联合分布偏离纯粹独立性的程度。

适用条件：显示的推导适用于使用概率质量函数的离散分布。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

在概念上，这个公式将互信息识别为实际联合分布 $p(x,y)$ 与独立参考分布 $p(x)p(y)$ 之间的库尔贝克-莱布勒（KL）散度。它衡量了实际联合分布偏离纯粹独立性的程度。

适用条件：显示的推导适用于使用概率质量函数的离散分布。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。