**
信息论｜联合熵、条件熵、互信息、熵不等式、典型习题训练
内容：信息论基础 ，联合熵 ，条件熵 ，互信息 ，信息论计算题
前言
上篇学习了单变量信源的自信息量与信息熵。在实际通信系统中，发送端信源为随机变量 X，接收端输出为随机变量 Y，二者存在统计关联。因此必须学习二维随机变量信息度量体系：联合自信息、条件自信息、联合熵、条件熵、互信息量。
一. 联合自信息量与联合熵
1. 联合自信息量定义
**物理含义：**两个事件同时发生消除的不确定性，等于第一个事件自信息，加上已知第一件发生后第二件的剩余不确定性。
2. 联合熵定义
二维随机变量 XY 联合自信息量的数学期望，称为联合熵。
**物理含义：**联合熵表征两个随机变量整体包含的总平均不确定性。
3. 条件自信息量、条件熵
3.1 条件自信息量**
基本性质：
3.2 条件熵定义
条件自信息量的数学期望为条件熵。
物理含义：
H(X|Y)：已知接收符号 Y 后，发送符号 X 仍然剩余的平均不确定性；
4.互信息量
4.1 事件互信息量**
事件互信息性质：
4.2 平均互信息量
平均互信息是整个概率空间的统计平均值，是通信系统信息传输量的核心指标。
三组万能计算公式：
平均互信息核心性质：
5.熵不等式
对任意离散二维随机变量：
课本原题 2-3
新增经典例题
新增经典例题2
本篇公式汇总表
第二章全部核心定义总记忆表
本篇小结
本篇完整收录二维信息度量全部课本定义、核心公式、熵不等式，保留课本原题，新增两道考试代表性综合计算题，覆盖联合熵、条件熵、互信息全套计算套路。
本文仅为课程学习笔记，所有概念、史实、定义均整理自翟明岳《信息论基础》教材，仅用于个人学习交流，不用于商业用途。教材著作权归原作者及出版社所有。
