顺着知识，继续探索
围绕信息度量、压缩与信道、纠错编码理解概念与联系。先建立知识结构，视频讲解按审核情况逐步补充。
概率测度给事件赋予非负权重，总权重为一，并对互不相交事件满足可列可加性。
离散分布的香农熵是负对数概率的期望，单位随对数底数变化。
条件熵平均衡量观测另一变量后剩余的不确定性。
互信息以观测另一变量所减少的不确定性度量统计依赖。
KL散度比较概率分布，通常不对称，支撑条件影响其是否有限。
信源编码高效表示消息，熵约束无损编码的平均码长。
前缀码中任何码字不是另一字的前缀，可实现无歧义即时解码。
哈夫曼算法按概率贪心合并，为给定符号分布构造最优二进制前缀码。
信道容量限定给定信道模型下可靠传输可实现的信息速率。
汉明距离统计等长字符串中不同位置的数量。
线性码的码字形成有限域向量子空间，可进行代数编码及译码。
校验矩阵生成伴随式，用于识别码字约束被违反的情况。
最小距离为d的码最多可保证纠正向下取整的(d-1)/2个任意符号错误。
课程范围参考