一、奠基时期1920—19481.1、时代背景1920年代电话、电报等通信技术快速发展工程师面临一个核心问题通信系统的传输能力有没有理论上限在此前通信工程主要依赖经验和试错缺乏统一的数学理论来回答“信息到底有多少”“信道到底能传多少”这类根本问题。1.2、哈里·奈奎斯特与传输速率1924S奈奎斯特Nyquist在贝尔实验室工作期间对电报信号的传输问题进行了研究证明得出在宽带为BHz的信道中每秒最多可以无失真传输2B个独立的脉冲样本Nyquist速率1924年发表论文《Certain Factors Affecting Telegraph Speed》《影响电报传输速度的某些因素》分析了电报传输速率的两大因素信号整形和编码选择推导出无噪声信道元素率上限是奈奎斯特准则、采样定理的前驱成果。首次给出了信道传输与宽带之间的定量关系。1.3、拉尔夫·哈特利与信息量的对数度量1928S哈特利Hartley)在1928年发表论文《Transmision of Information》(《信息传输》)首次提出对数形式的信息量度公式,S是符号集大小n是符号序列的长度。例用26个英文字母写一个5字母单词可能的组合数为,信息量为。将信息定义为符号选择的自由度但该模型假设符号等概率未考虑概率分布直接启发了香农后来的信息熵定义。1.4、诺伯特·维纳与噪声滤波1940S维纳Wiener控制论之父美国MIT数学家、信息论重要奠基人之一。二战期间研究防空火控系统时面临从噪声中提取信号的问题研究中发展了最优线性滤波理论Wiener滤波器能从噪声干扰下最优地估计信号1.5、1948年克劳德·艾尔伍德·香农Clande Elwood Shannon)做到了香农的伟大之处在于他把奈奎斯特的传输速率思想哈特利对数度量方法以及概率论工具统一列在一个框架中并在《通信的数学理论》中首次提出信息熵并作为信息的通用度量证明了信源编码定理和信道编码定理回答了数据能压多少和能传多快两个根本问题奠基时期的关键时间线1924 Nyquist ── 信道传输速率与带宽的关系1928 Hartley ── 信息量的对数度量1940s Wiener ── 噪声滤波与控制论↓1948 Shannon ── 《通信的数学理论》→ 信息论正式诞生二、创立时期19482.1、克劳德·艾尔伍德·香农Clande Elwood Shannon)1916—2001美国数学家、电气工程师被公认为“信息论之父”。毕业于密歇根大学获得数学与电气工程双学位麻省理工MIT硕士、博士。1937年其硕士论文《A Symbolic Analysis of Relay and Switching Circuits》(《继电器与开关电路的符号分析》)证明了布尔代数可以用继电器电路实现奠基了数字电路设计的理论基础这篇论文被后世称为“有史以来最重要的硕士论文”博士论文研究遗传学中数学问题与导师Vannevar Bush合作1941年进入贝尔实验室从事火控系统和密码学研究。1948年7月和10月香农在《贝尔系统技术杂志》上分两期发表论文《A mathematical Theory of Communication》这篇论文的信息量极其密集几乎凭一己之力建立了信息论的全部核心框架。1论文结构逻辑第一部分离散信源与信息的度量├── 定义离散信源的数学模型├── 定义信息熵 H└── 证明熵的基本性质第二部分信道容量├── 定义离散无记忆信道├── 定义信道容量 C└── 证明信道编码定理第三部分连续信源与连续信道├── 微分熵├── 高斯信道的容量公式└── 带宽-功率-噪声的权衡2.2、香农从合理公理1.信息量是概率的连续函数2.等概率事件越多不确定性越大单调性3.两个独立事件的不确定性等于各个不确定性之和可加性出发推导出信息熵公式单位bit(比特)。信源编码定理对于离散无记忆信源X信息熵为Hx。当长度为n的序列进行编码时平均每个符号所用吗长RH(x),就存在一种编码方式使得解码错误概率可以任意小。信道编码定理对于容量C的信道只要信息传输速率RC ,就存在一种编码方式使得差错可以任意小反之。其信道容量定义为2.3、香农同期重要工作1949年香农发表另一篇论文《保密系统的通信理论》Communication Theory of Secrecy Systems将信息论引入密码学。完善保密性定义了密码系统“完整保密”的数学条件——密文不提供关于明文的任何信息即一次一密证明了证明了这是唯一具有完善保密性的加密方案条件密钥长度明文长度、密钥完全随机、密钥只使用一次。香农的论文最初发表在技术期刊上受众有限。1949年数学家沃伦·韦弗Warren Weaver)为论文撰写了一篇通俗解读两人合编出版了《通信的数学理论》(The Mathematical Theory of Communication)一书,并将通信问题分为三层2.4创立时期影响在香农之前通信工程师的设计思路为经验试错 → 实验验证 → 改进 → 再试错香农之后变成计算信道容量 → 确定理论极限 → 设计逼近极限的编码通信工程从手艺变成科学。三、经典发展期3.1时代背景19448年香农创立信息论后学术界和工程界迅速意识到此理论的巨大价值。1950到60年代信息论从“一个人的论文”发展为独立学科大量研究者加入这个领域在纠错码、密码学、率失真理论、算法信息论等方向取得一系列突破。其核心驱动力有两个冷战与军事需求和计算机技术兴起。3.2、纠错码的突破香农的信道编码定理只证明了“好的编码存在”但没有给出具体构造。如何在工程上实现逼近香农极限的编码成为这时期最热门的方向。Hamming码哈特利是贝尔实验室的数学家也是香农同事在工作中深受计算机中偶发比特错误困扰于是开始研究自动纠错的方法核心思想是香农码是一种线性分组码通过在数据比特中插入校验比特实现单比特错误的检测与纠正。以经典Hamming(7,4)为例数据比特4 位d1 d2 d3 d4校验比特3 位p1 p2 p3编码总长7 位编码结构p1 p2 d1 p3 d2 d3 d41 2 3 4 5 6 7↑ ↑ ↑校验位 校验位卷积码彼得·伊莱亚斯在MIT提出卷积码Convolutional Code)这是一种与分组码不同的编码方式卷积码的编码输出不仅取决于当前输入的k个信息比特还取决于之前输入的若干组信息比特。3.3率失真理论Rate-Distortion Theory香农在 1948 年的论文中解决了无损压缩的理论极限问题。但现实中很多场景允许有损压缩——JPEG 图像压缩、MP3 音频压缩都丢弃了部分信息换取更高的压缩比。核心问题变成在允许的失真度 D 下数据最少能压缩到多小的码率 R 香农在 1959 年的论文《Coding Theorems for a Discrete Source with a Fidelity Criterion》中正式建立了率失真理论。率失真函数定义为;X 为原始信源输出X^X^ 为压缩后的重建值d(X,X^)d(X,X^) 为失真度量如均方误差、汉明距离DD 为允许的最大平均失真I(X;X^)I(X;X^) 为互信息率失真曲线3.4、KL 散度Kullback-Leibler Divergence3.5、Kolmogorov 复杂度与算法信息论四、扩展与深化期4.1、时代背景进入1970年代信息论从理论验证阶段走向工程落地与学科交叉三大驱动力推动了这一转变数字通信需求爆发卫星通信、光纤通信、移动通信实用计算机性能提升互联网萌芽。4.2信道编码的实践突破LDPC 码的提出与沉寂罗伯特·加拉格Robert Gallager)在1962年博士论文中提出低密度奇偶校验码LDPC, Low-Density Parity-Check Codes用稀疏的二分图fanner图)描述码字约束关系通过消息传输算法进行迭代译码理论是可逼近shannon极限。996 年MacKay 和 Neal 重新发现 LDPC 码的优异性能仿真表明 LDPC 码在 AWGN 信道上距 Shannon 极限仅0.0045 dB——几乎触及理论天花板随后被纳入 DVB-S2卫星电视、Wi-Fi802.11n/ac、5G 数据信道等标准编码技术的演进时间线1950 Hamming 码 ── 距极限很远但开创了纠错编码1955 卷积码 ── 引入记忆性能提升1962 LDPC 码 ── 理论上逼近极限但被冷落 30 年1967 Viterbi 算法 ── 让卷积码实用化1993 Turbo 码 ── 距极限 0.5 dB轰动学术界1996 LDPC 码复兴 ── 距极限 0.0045 dB4.3网络信息论Shannon的经典理论针对的是点对点通信一个发送端→一个接收端。但现实通信网络涉及多个用户同时通信产生了网络信息论Network Information Theory经典多用户模型对扩展与深化期总结1962/96 Gallager / MacKay ── LDPC 码提出 → 复兴1972 Blahut-Arimoto ── 信道容量数值计算算法1973 Slepian-Wolf ── 分布式信源编码定理1974 Ahlswede ── 多址接入信道容量域1977/78 Lempel-Ziv ── 通用无损压缩算法1979 Cover El Gamal ── 中继信道编码策略1984 LZW 算法 ── GIF 压缩标准1992 JPEG ── 图像压缩国际标准1993 Berrou 等 ── Turbo 码距极限 0.5 dB1993 MP3 / MPEG ── 音视频压缩标准化五、现代交叉期2000S—至今5.1、时代背景进入 21 世纪信息技术经历了互联网普及、移动互联网爆发、深度学习革命三次浪潮。信息论不再只是通信工程师的专属工具而是与机器学习、量子计算、生物信息学等领域深度交叉焕发出新的生命力。5.2、5G通信中的信息论从4G到5G编码的更迭5.3、信息论×机器学习交叉熵损失最小化交叉熵 最小化 KL 散度 让模型分布逼近真实分布。5.4\量子信息论经典→量子对应生物信息学六、全发展史一览1920s-48 奠基 Nyquist、Hartley、Wiener1948 创立 Shannon《通信的数学理论》1950s-60s 经典 Hamming码、KL散度、率失真、Kolmogorov复杂度1970s-90s 深化 Turbo码、LDPC复兴、网络信息论、压缩标准化2000s- 交叉 Polar码、5G、深度学习、量子信息、生物信息七、总结信息论的发展主线围绕度量、压缩、传输三大问题展开。1920年代Nyquist和Hartley奠定传输速率与信息量的思想基础1948年香农统一提出信息熵信道容量和两大编码定理正式创立信息论1950-60年代Hamming码、KL散度率失真理论推动经典论走向完善1970-90年代Turbo码、LDPC复兴逼近Shannon极限数据压缩标准化落地2000年至今Polar码进入5G信息论与深度学习、量子计算、生物信息学深度交叉成立信息时代的通用语言。