前言*
我们生活在一个“信息爆炸”的时代，但“信息”到底是什么？很少有人停下来思考，信息的本质是什么？我们该如何度量它？为什么有些信息价值千金，而有些只是噪音？这就是信息论 (Information Theory) 也就是这门学科要回答的根本问题。
人物简介
信息论之父——克劳德·艾尔伍德·香农 1919-2001美国数学家，信息论创始人。1948年，香农在著名的《贝尔系统技术杂志》上发表了划时代的论文《通信的数学理论》。这篇论文宣告了一门崭新学科——信息论的诞生。1949年，香农又在该杂志上发表了另一篇影响深远的论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息论的数学表达式，并解决了信道容量，信源统计特性，信源编码和信道编码等一系列基本问题，这两篇论文成为信息论的基础性著作。
一.信息的概念
创立标志： 1948年，香农（Shannon）发表了论文《通信的数学理论》。
核心思想： 创造性地将概率论方法引入通信研究，解决了噪声信道中信息有效传输的问题，并首次提出了**“信息熵”**的概念。信息熵是信息论中最基本和最重要的概念，它量化了信息的不确定性。
信息是一个抽象的概念，信息包含在消息之中，消息是信息的载体
信号是消息的表现形式，消息是信号的具体内容
消息: 是信息的物理载体，是通信过程中传输的具体内容（如文字、语音、图像）。消息是具体的、可感知的。
消息和信息的区别区别： 消息是信息的载体，信息是消息的内容。同一个信息可以通过不同的消息形式来表达。
信息论发展过程中的重要时间节点
1.1924年，奈奎斯特：研究电报传输，得到脉冲速率和信道带宽的关系。
2. 1928年，哈特莱：建立限带信号采样定理，
3.哈特莱 提出消息是符号，而不是内容，信息和消息开始得以区分。
4.1935年，哈姆斯特朗提出增大带宽可以加通信系统的干扰能力。
5.1949年香农发表论文《噪声下的通信》指出通信系统的核心问题是在噪声环境中如何有效而可靠的传递信息，同时指出实现这一目标的主要方法是编码。
6.1959年，香农发表论文《保真度准则下的离散信源编码定理》，系统的提出了信息率失真理论和信失真信源编码定理。
信息是对事物运动状态或者存在方式的不确定性的描述
二.通信系统模型
（1）信源：信息的来源称为信源，可以是人，机器或者其他事物。尽管信源是信息的来源，但是信源并不直接输出信息，信源输出的是信息的载体——消息，比如文字、图片、语音视频。消息是随机不确定的，但存在统计规律，数学上可以用随机变量来表示。
（2）编码器：把消息转换成符号或者符号序列，核心作用是提升传输有效性。例如：字符a,b,c,d分别编码成0,10,110,111。
（3）调制器：调制器负责将编码器输出的符号转化为适合信道传输的信号，目的是提高传输效率。
（4）信道：信道是信息传输的通道，始于调制器，终于调节器，它是包括收发设备在内的物理设施。在狭义的通信系统中，实际信道有架空明线，电缆，波导，光线和无线电波传播空间。对广义的通信系统，通信还可以是其他类型的传输媒介。
（5）调解器：调节器位于信息的接收端，负责将信道输出信号转化为符号，是调节器的逆变换。
（6）译码器：译码器位于信息的接收端，是编码器的逆变换
（7）信宿：信宿是信息的接收者，也就是接收信息的人或物。
通信系统模型一共由7个部分组成，信源→编码器→调制器→信道→解调器→译码器→信宿
