信息熵

• 香农提出了信息的定义，以及信息的定量计算公式

• 香农对信息的定义：信息是不确定性减少的度量

即，一个信息对事物不确定性的减少没有任何作用，那么这个信息的信息量是0。

• 信息的定量计算公式
• 

信息熵：描述消息中，不确定性的值

信息熵用于解决信息的量化问题，将原本模糊的信息概念进行计算得出精确的信息熵值。

熵越低，不确定性越低，更容易得到确定的信息

香农借用“熵”的概念来描述信息的不确定性，并把通信和密码学的所有问题都看成是数学问题，让信息变得可测。

在信息论中，香农提出三个定律：
1、无失真信源编码定律：给出有效编码信息的方法，即如何让通信信号携带尽可能大的信息量，提高信息存储和传输效率。
2、香农第二定律：定量地描述了一个信道中的极限信息传输率和带宽的关系，它主要用来保证信息在通信和传输过程中不出错。
3、香农第三定律：信息传输率无法超过信道容量，超过则无法保证可靠传输。实际上是限制了传输的极限。

香农信息论研究的主要内容，包含如下问题：

（1）什么是信息？如何度量？

（2）在给定的信道中，信息传输有没有极限？

（3）信息能否被压缩或恢复？极限条件是什么？

（4）从实际环境中提取信息，极限条件是什么？

（5）在允许一定失真的条件下，信息能否被更大程度地压缩？极限条件是什么？

（6）设计什么样的系统才能达到上述极限？

（7）现实中，接近极限的设备是否存在？

研究工具：概率论、随机过程

研究内容：研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）

研究方向：信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等

应用领域：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论、政治学（政治沟通）、信息论概述

重要观点：形式化假说、不确定性和非决定论

形式化假说：

香农说：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通信消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语义方面的问题与工程问题是没有关系的。”

可提出如下假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息时，可以先把语义和语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。比如信息包含不同的语义，而且语义也存在远近等不同；有些信息可能是有益的，有些可能是有害的，但是信息论暂时不管这些，以放弃一些复杂的“包袱”，这样才能便于建立模型、减少参数。

这种通信工程的“形式化”假说，对复杂的信息问题进行分解，大胆地去掉了复杂、具有个性化特点的、难于处理的消息的语义和语用因素，巧妙地保留了容易用数学描述的通用形式，因此，这使应用数学工具定量度量信息成为可能。此外，通过形式化的方法从通信问题中提取最为简练的共性问题，这使得通信问题升华为能够解决相对广泛的信息问题的理论，而不是单纯的个别应用，这种抽象使得所有消息和数据都可以采用二进制数据的形式进行存储、传输和处理，使得信息化可以渗透到各行各业，给当今社会带来深远的影响。

信息交流的组成：

1. 一个信息源

2. 一个传输器，可以把信息encode为信号

3. 一个频道，信号可以从中通行

4. 一个接收器，可以把信号decode为信息

5. 一个接收者

核心观点：

1. 信息的定义：香农将信息定义为消除不确定性所需的度量。当我们获得一条消息时，如果这条消息能够消除我们关于某件事情的不确定性或提供新的知识，那么这条消息就包含了信息。

2. 信息的单位：香农引入了信息的单位，被称为比特（bit），用来度量信息的数量。比特表示一个二进制选择的结果，例如一个是或否、一个0或1的选择。

3. 信息的熵：熵是香农信息论的关键概念，它用来度量信息的平均量和不确定性。熵越高，表示消息中包含的信息量越大，不确定性也就越高。

4. 信息的压缩：香农信息论指出，在信息传输中存在冗余性，可以通过压缩来减少传输的数据量。通过利用消息中的统计规律和重复出现的模式，可以将信息进行压缩而不损失内容。

5. 信道容量：信道容量是指在不受干扰的情况下，信道能够传输的最大信息率。香农提出了一个定理，称为香农定理，它给出了信道容量的计算方法，并说明了在给定信噪比条件下，信息传输速率的上限。

6. 错误检测和纠正：香农信息论还涉及到错误检测和纠正的问题。通过添加冗余信息和使用纠错编码，可以在传输过程中检测和纠正错误，提高信息传输的可靠性，最著名的是汉明码。