你想弄懂什么？

是的，互信息是完全对称的。公式 $I(X;Y) = I(Y;X)$ 成立。

适用条件：适用于定义互信息的任意一对随机变量 $X$ 和 $Y$。

是的，互信息是完全对称的。公式 $I(X;Y) = I(Y;X)$ 成立。

适用条件：适用于定义互信息的任意一对随机变量 $X$ 和 $Y$。

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。