香农采样定理(香农采样定理例题)

美国数学家克劳德·艾尔伍德·香农提出了信息熵的概念，奠定了信息论和数字通信的基础。虽然他没有获得诺贝尔奖，但香农的研究与各个领域的顶级学者有过交集。在这篇论文中，陈冠荣教授梳理了22位科学家与香农的“相遇”。

作者|陈冠荣(香港城市大学电机工程系教授)

美国科学家克劳德·艾尔伍德·香农(1916年4月30日-2001年2月26日)以创立信息论而闻名。

香农出生在密歇根州的湖边小镇佩托斯基，佩托斯基来自当地印第安语，意为“旭日之光”。

建立现代信息理论

1936年，香农获得密歇根大学数学和电气工程学士学位，随后进入麻省理工学院(MIT)读研究生。

香农于1938年获得麻省理工学院电气工程硕士学位，论文题目是“继电器和开关电路的符号分析”。他把布尔代数的“真”和“假”与电路系统的“开”和“关”对应起来，分别用1和0表示。

他的数学分析为数字电路奠定了理论基础，将计算机科学引向了数字化的道路，也为今天的各种数字技术奠定了坚实的基础。

1940年，香农因这一成就获得了美国工程师协会颁发的阿尔弗雷德·诺贝尔奖。同年，香农获得了麻省理工学院的数学博士学位，论文题目是《理论遗传学的代数》。

在科学史上，鲜有被公认为开创性成果的博士论文。比较知名的有爱因斯坦、居里夫人、德布罗意、费曼，包括数学中的黎曼和纳什。香农的博士论文被认为是20世纪最好的。

(来源:dspace.mit.edu)

1940年至1941年，香农在普林斯顿高等研究院工作，期间她开始思考信息论和数字通信。1941年，他加入AT & The贝尔实验室的数学系，一直工作到1956年。后来被麻省理工学院聘为客座教授，1958年成为讲座教授，1978年以名誉教授身份退休。

在贝尔实验室期间，除了枪支管制系统，信息保密和隐藏技术是香农的主要工作内容。1945年，香农向实验室提交了一份机密文件《密码学的数学理论》。研究成果在二战结束后以《秘密系统的通信理论》为题于1949年正式发表，为现代公钥密码学和分组密码学的设计提供了启发和指导。他立即被美国政府聘为密码顾问。

在贝尔实验室，信息论和数字通信一直是香农的重点科研内容。1948年，香农在实验室主办的杂志《贝尔系统技术杂志》(Bell System Technical Journal)上发表了一篇论文《通信的数学理论》(A Mathematical Theory of Communication)，研究了如何对发送的信息进行最佳编码，引入信息熵来度量不确定性，设计了“香农-法诺编码”(Shannon-Fano Coding)，后来与罗伯特·法诺(Robert Fano)共同完成。1949年，他在这本杂志上发表了《噪声下的通信》一文，其中建立了著名的香农采样定理。

香农在这一时期的一系列工作奠定了现代信息论。

后来，他回忆说，“我首先想到的是如何在嘈杂的信道中最好地改善信息传输。”香农在文章中定义了信息的基本单位，并采纳了贝尔实验室同事约翰·图基的建议，将其设为“比特”。当时，据说约翰·冯·诺依曼说服香农借用了热力学中的“熵”这个词。冯·诺曼认为，当时没有人知道这个“信息熵”是什么，这会让香农在信息论的学术辩论中占据优势。此外，香农表示，他的沟通理论在数学和哲学原理方面从麻省理工学院的同事诺伯特·维纳那里受益匪浅。韦纳强调，香农的个人贡献是引入了信息熵和数字技术作为这一理论的基础。

接近香农极限

香农在1948年的论文中也介绍了通信信道的香农极限，也称为香农容量，是特定噪声水平下信道的最大理论信息传输速率。

后来著名的香农理论(噪声信道编码定理)指出，信息传输速率就是信道容量、带宽、平均信号功率、平均噪声功率和信噪比。香农极限是它的最大值。香农在这篇论文中解释了如何计算这个极限，但他当时并不知道如何去逼近它。

许多年后，香农和其他科学家不断挑战这个重要而棘手的技术难题。在现代通信系统从1G、2G、3G、4G到5G的整个发展过程中，全世界的科学家、通信运营商和制造商一直在追逐接近香农极限。

利益驱动的研究

1951年，香农发表了《印刷英语的预测和熵》一文，表明信息论不仅可以应用于计算机语言，也可以应用于自然语言。他还计算了英语的熵，主张从数理统计的角度分析人类语言。

香农是典型的利益驱动型科学家。他不考虑自己的研究成果是否有商业价值，甚至不考虑最终的成果是否有用。他说，“我花了很多时间在完全没用的事情上”。

事实上，香农对各种创新尝试的偏爱甚至让他迷恋上了智能游戏机。1949年，他发表了一篇论文《为下棋编写计算机程序》，概述了人工智能方面的一项开创性工作。

次年，他亲手制作了一只名为“忒修斯”的机器鼠，并在反复试验后让机器鼠自己找到了走出迷宫的路。忒修斯是希腊神话中的英雄。为了拯救希腊处女，他自告奋勇去除掉克里特岛的怪物“弥诺陶洛斯”，并成功在可怕的迷宫中找到了出口。

(来源:commons.wikimedia.org)

1951年，香农发表了一篇论文《迷宫求解机的演示》，解释说这个任务是通过密集继电器系列的运算来完成的，它是基于贝尔电话系统的开关元件。那个巧妙的机电设计被认为是现代计算机芯片的原型。

1953年，他还设计了一种“读心术”机器，可以通过观察和分析对手过去做出的各种选择的样本，准确地猜测对手的下一步行动。这种成功的逻辑设计被视为现代机器学习和人工智能发展的前奏。香农当年说，“我认为完全可以预见，几十年后机器智能将超越人类。”

从上世纪60年代开始，年过半百的香农逐渐从公众视野中消失。他甚至不再参加由他创立的信息领域的专业会议。香农曾经说过，“很多伟大的数学家在年轻的时候就完成了一生中最重要的研究。”也许他认为江郎完蛋了？其他人和后代都不得而知。直到1985年，他才意外地出现在英国布莱顿举行的信息理论国际研讨会上。当时很多参与者甚至不知道他还活着。

事实上，在20世纪80年代，香农的记忆力开始严重衰退，后来她患上了老年痴呆症。经过与疾病的长期斗争，香农于2001年2月24日去世，享年84岁。

回顾香农辉煌的一生，他从年轻开始就逐渐被世界认可和尊重。先后获得10个荣誉博士学位(依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、西北大学、牛津大学、东英吉利大学、卡耐基梅隆大学、塔夫茨大学、宾夕法尼亚大学)，成为美国科学与工程学院、皇家学会会员。

他的主要奖项包括1985年的日本京都奖、1966年的IEEE荣誉奖章、1972年的第一届香农奖和1996年的国家科学奖章。

不幸的是，香农研究工作的领域和性质决定了他无缘诺贝尔奖。

两位科学家“遇见香农”

许多科学家和数学家在香农去世前后见过他(“遇见香农”)。此外还有与他同时代或后来著名的数学家和科学家卡诺(1796-1832)、菲克(1829-1901)、李亚普诺夫(1857-1918)、马可尼(1874-1937)、奈奎斯特(1894-1964)、冯·诺依曼(1903-1957)、波德(1905-1982)、列昂惕夫(1906-1999)、图灵(1912-1912)

Shannon对这个行业如此投入，你见过他吗？

附录:谁遇到了香侬还是香侬遇到了谁？

卡诺:O申塔尔和I坎特，香农遇到卡诺:广义第二热力学定律，欧洲物理通讯，85 (1): 10006，2009。

Carnot: H Li，网络物理系统中网络控制通信的信息效率:当Carnot遇到Shannon，第55届IEEE决策与控制会议，2016年12月12-14日，美国内华达州拉斯维加斯

菲克:奥比森，JJ·莱托姆基和伊法克·伊尔迪兹，香农在微流体通道上会见菲克:分子通信的扩散极限和广播容量，IEEE纳米生物科学汇刊，17(1): 88-94，2018年。

李亚普诺夫:T .霍利迪，P . G .林恩和A .戈德史密斯，香农遇到李亚普诺夫:信息论和动态系统之间的联系，第44届IEEE决策和控制会议，2005年12月12-16日，西班牙塞维利亚，2005年。

马可尼:d . tse，现代无线通信:当香农遇到马可尼，2006年IEEE声学、语音和信号处理国际会议，2006年5月14-19日，法国图卢兹，2006。

Nyquist: YX Chen、AJ和Eldar，Shannon会见Nyquist:容量和采样之间的相互作用，第49届通信、控制和计算阿勒顿年会，2011年9月28-30日，美国伊利诺伊州蒙蒂塞洛。

Nyquist: YX Chen，Eldar，和AJ，Shannon符合Nyquist:采样高斯信道的容量，IEEE信息论汇刊，39 (8): 4889-4914，2013。

Wiener): GD Forney，关于MMSE估计在接近线性高斯信道的信息论极限中的作用:Shannon会见Wiener，第41届通信、控制和计算Allerton年会，2003年10月1-3日，美国伊利诺伊州蒙蒂塞洛，2003年；香农遇见维纳II:连续解码方案中的MMSE估计，2004。

冯·诺依曼:圣·何塞和Aa·库尔卡尼，香农遇到冯·诺依曼:存在干扰时信道编码的极大极小理论，ARXIV: 1811.07358，2018。

Bode: Nelia，当Bode遇到Shannon:面向控制的反馈通信方案，IEEE自动控制汇刊，49 (9): 1477-1488，2004。

莱昂特夫(莱昂·蒂夫):D·扎卡里亚和P·科克斯·霍特，莱昂·蒂夫会见香农——衡量经济系统的复杂性，:1705.02154，2017。

图灵:jp giannini和t bowen，《代码与数字中的生活:当香农遇见图灵》，电子可视化与艺术，2017年7月11-13日，英国伦敦，2017。

图灵:w . szpankowski和agrama，信息科学前沿:香农遇见图灵，计算机，51 (1): 28-38，2018。

Blackwell和Lecam: Mraginsky，Shannon会见Blackwell和Lecam:信道、代码和统计实验，IEEE国际信息论研讨会，2011年7月31日-8月5日，俄罗斯圣彼得堡，2011年。

Bellaman: Smeyn和G Mathew，Shannon Meets Bellman:用于检测和优化的基于特征的马尔可夫模型，第47届IEEE决策和控制会议，2008年12月9-11日，墨西哥坎昆，2008年。

Nash: Raberry和DNCTSE，Shannon在干扰信道上遇到Nash，IEEE信息论汇刊，57 (5): 2821-2836，2011。

Moore:L . Harrison，Moore定律与Shannon定律的结合:通信行业的发展，IEEE计算机设计国际会议:计算机和处理器中的VLSI，2001年9月23-26日，美国德克萨斯州奥斯汀，2001年。

摩尔:S .肖尔，S .韦托弗和When，高级迭代

来源:Thierry Ehrmann en Flickr

本文经授权转载自“集智俱乐部”。