信息论与编码理论
围绕信息度量、压缩与信道、纠错编码理解概念与联系。先建立知识结构，视频讲解按审核情况逐步补充。
顺着知识，继续探索
香农熵
离散分布的香农熵是负对数概率的期望，单位随对数底数变化。
从不同角度理解
暂无审核视频。可以从地图继续探索，或推荐合适资源。 推荐视频
继续探索邻近知识点
条件熵
条件熵平均衡量观测另一变量后剩余的不确定性。
概率
概率测度给事件赋予非负权重，总权重为一，并对互不相交事件满足可列可加性。
相对熵
KL散度比较概率分布，通常不对称，支撑条件影响其是否有限。
信源编码
信源编码高效表示消息，熵约束无损编码的平均码长。
信道容量
信道容量限定给定信道模型下可靠传输可实现的信息速率。