关于条件熵的 Matlab 练习是什么？
该练习要求学生实现一个 Matlab 函数 conditionalentropy(p)，该函数从二维联合概率矩阵 计算给定 Y 时 X 的条件熵。它包括特定的测试用例以验证正确性，例如确定性和均匀分布。
适用条件
- 输入 p 被假定为二维联合概率数组 。
- 学生可以重用现有的 entropy() 和 jointentropy() 例程。
理解与推导
- 定义接受二维矩阵 p 的函数 conditionalentropy(p)。
- 使用现有例程或直接从 p 计算联合熵 和边缘熵 。
- 应用链式法则 H(X|Y) = 返回结果。
- 针对提供的测试用例验证函数：conditionalentropy([0.5,0;0,0.5]) 应等于 0，conditionalentropy([0.25,0.25;0.25,0.25]) 应等于 1。
例子
练习幻灯片指出：“编辑 Matlab 函数 conditionalentropy(p)，以返回给定联合概率 p 时 X 关于 Y 的条件熵。”并附有打印的测试 conditionalentropy([0.5,0;0,0.5])=0 和 conditionalentropy([0.25,0.25;0.25,0.25])=1。
容易误解的地方
- 假设输入 p 是边缘概率向量而不是二维联合概率矩阵。
- 忘记条件熵不是对称的，正如比较 H(sex|earrings) 和 H(earrings|sex) 的 Guess Who! 例子所强调的那样。
观看对应讲解
YouTube信息论导论：熵——第6部分——条件熵
7:13 – 7:17原站看这一段 ↗
相关概念
继续追问
相关问题
认识概念↗
条件熵 H(X|Y) 衡量在观察到另一个随机变量 Y 之后，关于随机变量 X 的平均剩余不确定性或惊讶程度。它被定义为条件自信息 h(x|y) 在 X 和 Y 的联合分布上的期望值。
适用条件：X 和 Y 是离散随机变量。；求和是在联合字母表 上进行的。
YouTube信息论导论：熵——第6部分——条件熵
0:00 – 2:15原站看这一段 ↗
理解原因↗
联合熵 不等于 ，因为将边缘熵相加会重复计算变量之间共享的互信息 I(X;Y)。正确的关系是 (X;Y)。
适用条件：X 和 Y 是可能共享信息的随机变量（即它们不一定独立）。
YouTube信息论导论：熵——第6部分——条件熵
3:09 – 3:36原站看这一段 ↗
认识概念↗
当条件熵 H(X|Y) 为零时，意味着一旦知道 Y，关于 X 就没有剩余的不确定性或惊讶。这表明 X 是 Y 的确定性函数，因此关于 X 的所有信息都完全包含在 Y 中。
适用条件：X 和 Y 是离散随机变量。
YouTube信息论导论：熵——第6部分——条件熵
4:55 – 5:15原站看这一段 ↗
掌握方法↗
条件熵是 X 和 Y 的联合熵与 Y 的边缘熵之差。这种关系由熵链式法则表示：H(X|Y) = 。
适用条件：X 和 Y 是具有良好定义的联合熵和边缘的离散随机变量。
YouTube信息论导论：熵——第6部分——条件熵
0:00 – 2:15原站看这一段 ↗
理解原因↗
条件熵 H(X|Y) 被 (X|Y) ≤ 所界定，因为学习 Y 的值提供了只能减少或保持不变的关于 X 的平均不确定性的信息；它在平均意义上不能增加不确定性。
适用条件：X 和 Y 是离散随机变量。
YouTube信息论导论：熵——第6部分——条件熵
4:10 – 4:40原站看这一段 ↗
答案依据视频资料生成并经过独立核验。若有疑问，请核对原视频或联系原作者。