你已经知道比特币，但你知道“比特”从何而来吗？

克劳德·埃尔伍德·香农（Claude Elwood Shannon），又名香农，美国数学家、电子工程师和密码学家，被誉为信息论的奠基人，与爱因斯坦、牛顿齐名。 但你可能不知道的是，托马斯·阿尔瓦·爱迪生是托马斯·阿尔瓦·爱迪生的远房亲戚，爱迪生的亲祖父发明了洗衣机和许多农用机械。

克劳德·埃尔伍德·香农 1916 年 4 月 30 日出生于美国密歇根州盖洛德镇。 他从小就对密码学很感兴趣，尤其喜欢埃德加·爱伦·坡的短篇小说《金甲虫》的中文译本，破解了一张神秘的地图，主人公找到了宝藏。

克劳德·埃尔伍德·香农，1916-2001 年，

被认为是有史以来最伟大的电气工程英雄之一，照片：Stanley Rowin

他最著名和最有影响力的论文是《通信的数学理论》，它是信息论的基础，精确定义了信源编码和信道编码等概念。 不过，这件气势磅礴的杰作，也曾在过去遭到拒绝。 审稿人的回复大致是：电报已经存在一百年了，没有什么可以继续突破的。 我建议作者尝试研究一下不久前刚刚出现的电视机。

给编辑的机密评论：

这篇论文唯一绝对错误的是它并没有与研究界发现的令人兴奋的东西产生“共鸣”。 在任何时候，都有性感和不性感的话题：

如今，电视很性感，彩色电视更性感。 具有有限数量符号的离散信道适合电报，但电报已有 100 年历史，很难成为一个好的研究课题。

拒绝“通信的数学理论”的审稿人的回应

事实上，我们一直生活在香农信息论的影响下。 但是你有没有想过，你真的了解信息“信息”吗？ 你可能通过比特币认识比特，或者很久以前就听说过比特，但你知道比特是最小的信息单位吗？

香农和图灵，人工智能的思想

二战期间，克劳德·埃尔伍德·香农加入贝尔实验室研究火控系统和密码学，相关课题直属国防研究委员会领导。

在贝尔实验室，他与信息技术史上的另外两位先驱巴尼·奥利弗和约翰·皮尔斯保持着良好的关系，因为香农在与他所敬佩的高智商和创意人士打交道的过程中受益匪浅。 变得更聪明，更有创意。 也可以看出，克劳德·埃尔伍德·香农对待友谊的态度主要是看内容，而不仅仅是关系。

贝尔实验室的 Claude Elwood Shannon

1943年，英国数学家、密码学家艾伦·图灵前往华盛顿与美国海军交流德国北大西洋潜艇舰队密码的破译成果，并参观了贝尔实验室。 二战期间比特币的发明人，图灵和香农都负责通信的加密和解密。

期间，图灵和香农进行了热烈的知识交流，讨论了人工思考机器的想法，这与我们今天所说的人工智能很接近。 图灵向香农介绍了通用图灵机的概念，香农告诉图灵，他不仅满足于向这个“大脑”输入数据，还希望向它灌输文化的东西。 就连图灵也被这个不可思议的想法震惊了。

图灵比香农大 4 岁。

信息，从情报到情报

《Information theory》信息论，即“信息”理论。 信息极大地释放了人类的能量，其创造的价值超过了此前五千年财富的总和，但“信息”仍然是一个大家耳熟能详却含义模糊的词。

Claude Elwood Shannon 的信息论的最大贡献是可以用数学公式严格定义信息量，反映了信息表达形式的统计性质。

20世纪初，信息的载体随处可见，信件、电话、声音和图像，信息在世界各地川流不息。 根据美国人口普查局的统计摘要，截至1948年，美国每天有1.25亿通电话通过贝尔系统2.22亿公里的电缆和3100万部电话传送。 此外，还有广播电台3186个，报纸15000份，信件4000亿封。

信息流动如此之大，如何衡量信息？ 邮局可以计算信件和包裹，但是应该用什么单位来计算贝尔系统传输的信息呢？ 当时没有一个词可以准确地概括所有这些事情。 Claude Elwood Shannon 于 1939 年写信给 Vannevar Bush，他断断续续地研究通用信息智能系统的一些基本特性。

说到情报这个词，托马斯·埃利奥特爵士在16世纪总结道，“情报是一个优雅的术语，表示通过相互之间的书信往来或口头信息达成的协议或约定。” 但是我们现在所说的信息，和当时所谓的情报越来越不一样了。

1948 年 7 月 Bell Research Journal，CE Shannon “通信的数学理论”

后来，一些贝尔实验室的工程师开始更多地使用信息这个词来表达一些技术概念，比如信息的数量和度量。 Claude Elwood Shannon 作为其中之一，在后来的“信息论”中也使用了信息这个词。 从此，信息逐渐成为主流。

回到过去，当物理学发展遇到瓶颈时，牛顿还重新定义了一些传统但定义模糊的词，如力、时间、质量等，开创了物理学的新纪元。 是牛顿将这些词量化并用数学公式表达出来的。

那么，如何将信息放入数学公式中呢？

信息单元“bit” Bit 定义

通信学科是最早系统研究信息论的学科。 在信息论提出之前，数字通信发展过程中的一些重大事件：

1837 年，莫尔斯：有线电报；

1875 年，Emile Baudot：定长电报编码；

1924 年，奈奎斯特：给出在给定带宽的电报信道上没有符号间干扰的最大可用信号速率；

1928年，Hartley：在带宽受限的信道中，当最大信号幅度Amax和幅度失真为Ad时，存在可靠通信的最大数据速率；

1939-1942，Kolmogorov 和 Wiener：最优线性 Kolmogorov-Wiener 滤波器；

1947 年，Kotelnikov：基于几何方法的各种相干解调。

1948年，贝尔实验室：研制出小型电子半导体器件“transistor”晶体管； 克劳德·埃尔伍德·香农出版了专着《通信的数学理论》。

出乎意料的简单“晶体管”设备，比真空管效率更高、体积更小且更易于集成。 “transistor”晶体管的名称是由跨导（transconductance）和压敏电阻（varistor）这两个词组合而成，沿用至今。 据贝尔实验室称，“晶体管”将对电子和电信行业产生深远影响。 从此，晶体管引发了一场电子技术的科学革命，半导体技术开始小型化和普及化。 但这只是电子行业这场革命的硬件部分。

《晶体管》晶体管发明家威廉·布拉德福德·肖克利、约翰·巴丁和沃尔特·布拉顿获得1956年诺贝尔物理学奖

同样在 1948 年，克劳德·埃尔伍德·香农的专着《通信的数学理论》可能更有价值。 论文的唯一作者，当时32岁的Claude Elwood Shannon定义了一个新词——比特“比特”。

Claude Elwood Shannon 确定信息与长度和重量等物理属性相同，可以测量和标准化。 今天，作为衡量信息量的单位，比特已经成为日常生活中最常见的维度之一，就像米、公斤、分钟一样。

用比特作为衡量的维度后比特币的发明人，人们发现信息几乎无处不在。 比特比特的出现后来导致了计算机、网络、摩尔定律，以及今天发达的信息产业、比特币和区块链。

同时，Claude Elwood Shannon 提出用信息熵 entropy 来定量衡量信息的大小，为信息编码提供了理论上的最优值。

他从理论上证明，只要通信速率低于信道容量，总能找到一种编码方法，使出错概率接近于零。 信道容量可以根据信道的带宽和噪声特性，通过香农公式进行简单计算。 这一结论震惊了整个通信理论界，从此开创了“信息论”这一伟大学科。

独轮车上的克劳德·埃尔伍德·香农

密码学从艺术走向科学

1949年，香农根据他1945年在贝尔实验室完成的机密报告《密码学的数学理论》发表了《保密系统的通信理论》一文，开辟了利用信息论研究密码学的新途径。 《波士顿环球报》称，“这一发现将密码学从一门艺术变成了一门科学。” 论文发表后，香农被美国政府聘为政府密码学事务顾问。

“密码学的数学理论”

使克劳德·埃尔伍德·香农成为现代密码学理论的奠基人和先驱

可以说，《安全系统通信论》奠定了现代密码学理论的基础。 他提出“从密码分析者的角度来看，一个安全系统几乎就是一个通信系统”。 密码系统中消息的加密类似于信息中的噪声。 密钥的随机性是关键。

这使得“信息论”成为密码学研究和分析的重要理论基础，使密码学从一门艺术变成了一门科学。 信令系统中的信息传输、处理、检测和接收过程，以及密码系统中的加密、解密、分析和解密过程，都可以从信息论的角度进行分析和研究。

Claude Elwood Shannon 曾在一篇论文中指出，一个高质量的密码系统的设计问题本质上是找到一个难题的解决方案，因此破译一个密码就相当于解决一个已知的数学问题。 受此思想启发，Bailey W. Diffie 和 Martin E. Hellman 于 1976 年在“IEEE Transactions on Information Theory”上发表了论文“New Direction of Cryptography”，阐述了密码学的新方向，同时标志着密码学的诞生公钥密码学，Diffie 和 Hellman 也获得了 2016 年的图灵奖。

在铁器时代和蒸汽时代之后，人们进入了信息时代。 马歇尔·麦克卢汉 (Marshall McLuhan) 在 1964 年评论道：人们曾经以收集食物为生，现在又回到收集信息为生。 信息已经不仅仅局限于通信行业，已经渗透到各个科学领域。

正如著名的信息论学者理查德·布拉胡特在两三百年后的美国密歇根州盖洛德的香农雕像落成仪式上所说的那样，当人们回顾我们这个时代时，他们可能不记得是谁美国总统，曾经是电影明星和歌手。 但是Shannon Shannon可能是有名的，因为学校里还在教“信息论”。