跳到内容
从一个困惑开始

你想弄懂什么?

找到答案,看到讲解发生的那一刻,再顺着概念继续探索。

← 概念导览

关于「条件熵 H(X|Y) 与联合熵 H(X,Y) 和边缘熵 H(Y) 有什么关系?」

4 个关键词匹配

正在理解你的问题,下面的搜索结果可先查看。

掌握方法

↗

条件熵是 X 和 Y 的联合熵与 Y 的边缘熵之差。这种关系由熵链式法则表示:H(X|Y) = H(X,Y)−H(Y)H(X,Y) - H(Y)。

适用条件:X 和 Y 是具有良好定义的联合熵和边缘的离散随机变量。

认识概念

↗

条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后,关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。

适用条件:X 和 Y 是离散随机变量。;求和是在联合字母表 Ax×AyA_x \times A_y 上进行的。

理解原因

↗

联合熵 H(X,Y)H(X,Y) 不等于 H(X)+H(Y)H(X) + H(Y),因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 H(X,Y)=H(X)+H(Y)−IH(X,Y) = H(X) + H(Y) - I(X;Y)。

适用条件:X 和 Y 是可能共享信息的随机变量(即它们不一定独立)。

认识概念

↗

该练习要求学生实现一个 Matlab 函数 conditionalentropy(p),该函数从二维联合概率矩阵 p(x,y)p(x,y) 计算给定 Y 时 X 的条件熵。它包括特定的测试用例以验证正确性,例如确定性和均匀分布。

适用条件:输入 p 被假定为二维联合概率数组 p(x,y)p(x,y)。;学生可以重用现有的 entropy() 和 jointentropy() 例程。