你想弄懂什么？

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。

通过应用离散 KL 散度的标准定义来展开 KL 散度表达式。通过设置 $P = p(x,y)$ 和 $Q = p(x)p(y)$，散度变为在联合支持集上对所有对 $(x,y)$ 求和，即联合概率乘以联合概率与边际乘积之比对数的和。

适用条件：推导适用于使用概率质量函数的离散分布。；展开的求和中没有明确说明对数的底数，尽管前面的熵使用了以 2 为底。；比率形式要求在求和支持集上 $p(x,y)>0$ 且 $p(x)p(y)>0$。