你想弄懂什么？

互信息 $I(X;Y)$ 代表在观察到 $Y$ 之后关于 $X$ 的不确定性减少量。$H(X)$ 是关于 $X$ 的初始不确定性，而 $H(X|Y)$ 是已知 $Y$ 之后的剩余不确定性。

适用条件：$X$ 和 $Y$ 是随机变量。；$H(X)$ 和 $H(X|Y)$ 使用相同的单位制。

互信息 $I(X;Y)$ 代表在观察到 $Y$ 之后关于 $X$ 的不确定性减少量。$H(X)$ 是关于 $X$ 的初始不确定性，而 $H(X|Y)$ 是已知 $Y$ 之后的剩余不确定性。

适用条件：$X$ 和 $Y$ 是随机变量。；$H(X)$ 和 $H(X|Y)$ 使用相同的单位制。

熵 $H(X)$ 的正式定义是随机变量 $X$ 的预期惊奇度（expected surprise）。它使用公式 $H(X) = - \sum_{x} p(x) \log_2 p(x)$ 进行计算，其中 $p(x)$ 是 $X$ 的概率质量函数。

适用条件：$X$ 是离散随机变量。；求和遍历 $x$ 的所有可能值。；$p(x)$ 是概率质量函数，满足 $p(x) \ge 0$ 且 $\sum_x p(x) = 1$。；使用以 2 为底的对数得出的熵以比特为单位。

熵 $H(X)$ 的正式定义是随机变量 $X$ 的预期惊奇度（expected surprise）。它使用公式 $H(X) = - \sum_{x} p(x) \log_2 p(x)$ 进行计算，其中 $p(x)$ 是 $X$ 的概率质量函数。

适用条件：$X$ 是离散随机变量。；求和遍历 $x$ 的所有可能值。；$p(x)$ 是概率质量函数，满足 $p(x) \ge 0$ 且 $\sum_x p(x) = 1$。；使用以 2 为底的对数得出的熵以比特为单位。