你想弄懂什么？

在概念上，这个公式将互信息识别为实际联合分布 $p(x,y)$ 与独立参考分布 $p(x)p(y)$ 之间的库尔贝克-莱布勒（KL）散度。它衡量了实际联合分布偏离纯粹独立性的程度。

适用条件：显示的推导适用于使用概率质量函数的离散分布。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

在概念上，这个公式将互信息识别为实际联合分布 $p(x,y)$ 与独立参考分布 $p(x)p(y)$ 之间的库尔贝克-莱布勒（KL）散度。它衡量了实际联合分布偏离纯粹独立性的程度。

适用条件：显示的推导适用于使用概率质量函数的离散分布。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。