信息论与编码理论
围绕信息度量、压缩与信道、纠错编码理解概念与联系。先建立知识结构，视频讲解按审核情况逐步补充。
顺着知识，继续探索
相对熵
KL散度比较概率分布，通常不对称，支撑条件影响其是否有限。
从不同角度理解
暂无审核视频。可以从地图继续探索，或推荐合适资源。 推荐视频
继续探索邻近知识点
互信息
互信息以观测另一变量所减少的不确定性度量统计依赖。
香农熵
离散分布的香农熵是负对数概率的期望，单位随对数底数变化。
信道容量
信道容量限定给定信道模型下可靠传输可实现的信息速率。
条件熵
条件熵平均衡量观测另一变量后剩余的不确定性。
纠错能力与界
最小距离为d的码最多可保证纠正向下取整的(d-1)/2个任意符号错误。