信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。

信息是用来消除事情的不确定性的，不确定性的减少量等于信息的信息量。

信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。

发生可能性较大的事件包含较少的信息。

发生可能性较小的事件包含较多的信息。

自信息仅仅处理单个输出，但是如果计算自信息的期望，它就是熵:

熵刻画了按照真实分布 $ P $ 来识别一个样本所需要的编码长度的期望（即平均编码长度）。

由于$P_i$之间两两相等，且和为1

对于离散型随机变量，有.