|
撰文 丁玖（美國(guó)南密西西比大學(xué)數(shù)學(xué)系教授） 一百年前，中美兩國(guó)各自誕生了一位科學(xué)名人，他們是分別出生于1916年4月30日和7月7日的信息論之父香農(nóng)（Claude Elwood Shannon, 1916-2001）及應(yīng)用數(shù)學(xué)翹楚林家翹 （1916-2013）。他們都是數(shù)學(xué)奇才，又同在麻省理工學(xué)院執(zhí)教多年，一個(gè)在電子工程系，一個(gè)在數(shù)學(xué)系，也被教務(wù)長(zhǎng)任命為校級(jí)應(yīng)用數(shù)學(xué)委員會(huì)的首批委員。去年我寫了一篇長(zhǎng)文，紀(jì)念流體力學(xué)“不穩(wěn)定性先生”林家翹的百歲誕辰（詳見紀(jì)念林家翹先生的《數(shù)壇風(fēng)流，百年翹楚》），這次禁不住再次揮筆，回顧信息天使香農(nóng)的燦爛人生。 香農(nóng)的一生，可以說(shuō)是數(shù)學(xué)與理工這對(duì)戀人的最佳組合，也可成為詮釋林家翹應(yīng)用數(shù)學(xué)理念的極好例證。他的一生杰作無(wú)數(shù)，許多學(xué)術(shù)成果都是數(shù)學(xué)思想的直接產(chǎn)兒，甚至有些文章的題目都有模式：某某論題的數(shù)學(xué)理論。例如1941年發(fā)表的《微分分析機(jī)的數(shù)學(xué)理論》（Mathematical Theory of the Differential Analyzer）及1945年提交給雇主貝爾實(shí)驗(yàn)室的報(bào)告《密碼術(shù)的數(shù)學(xué)理論》（A Mathematical Theory of Cryptography），從標(biāo)題上看好像是數(shù)學(xué)家為工程師們寫的文章。
香農(nóng)最偉大的論文《通信的數(shù)學(xué)理論》（A Mathematical Theory of Communication）發(fā)表于1948年，題目格式也跟上述文章如出一轍。該文宣告了“信息論”作為一門學(xué)科的誕生。他幾乎同樣偉大的創(chuàng)造是21歲時(shí)于麻省理工學(xué)院完成的碩士論文《中繼及開關(guān)電路的符號(hào)分析》（A Symbolic Analysis of Relay and Switching Circuits）。在這篇文章中，他運(yùn)用在密歇根大學(xué)讀本科時(shí)學(xué)到的“布爾代數(shù)”，論證了數(shù)字計(jì)算機(jī)及數(shù)字線路邏輯設(shè)計(jì)之可能性。第一臺(tái)現(xiàn)代電子數(shù)字計(jì)算機(jī) ENIAC 研制者之一的戈德斯坦（Herman H. Goldstine, 1913-2004），曾寫過(guò)獲獎(jiǎng)圖書《計(jì)算機(jī)：從帕斯卡到馮諾依曼》（The Computer from Pascal to von Neumann），他把香農(nóng)的碩士論文稱為“有史以來(lái)最重要的一篇碩士論文”。 香農(nóng)最偉大的論文《通信的數(shù)學(xué)理論》中文版封面 1940年，香農(nóng)以名為《理論遺傳學(xué)的代數(shù)》（An Algebra for Theoretical Genetics）的學(xué)位論文獲得麻省理工學(xué)院的數(shù)學(xué)博士文憑，之后在普林斯頓高等研究院待了一年，與愛因斯坦、外爾、馮·諾依曼等數(shù)理大家時(shí)有接觸，翌年去了貝爾實(shí)驗(yàn)室工作。經(jīng)過(guò)七年的不懈努力，他提煉出“信息熵”這一重大概念，證明了一系列關(guān)于熵的數(shù)學(xué)定理。然而，“熵”這個(gè)信息論專業(yè)詞匯最終卻是馮·諾依曼替他起的。在建立這個(gè)有關(guān)信息傳輸不確定性的量化過(guò)程中，他一開始想用“信息”（information）這個(gè)詞表示“不確定程度”，但這個(gè)已被老百姓用濫了的普通名詞根本沒有數(shù)量化的資本。后來(lái)他又想用“不確定性”（uncertainty）來(lái)表達(dá)“不確定度”，但這個(gè)抽象名詞無(wú)法勝任它應(yīng)肩負(fù)的量化責(zé)職。某天他碰到知識(shí)豐富的大數(shù)學(xué)家馮·諾依曼，便向他求教。后者建議他就用“熵”這個(gè)詞，理由有二：一是它來(lái)自熱力學(xué)與統(tǒng)計(jì)物理，已有不確定性的含義，二是沒人真懂熵為何物，容易避免爭(zhēng)論。 熵的英文原名及其漢譯也頗有意思。德國(guó)數(shù)學(xué)物理學(xué)家克勞修斯（Rudolf Clausius, 1822-1888）于1865年首次使用 Entropie 這個(gè)源自希臘文的熵德語(yǔ)單詞，來(lái)表達(dá)熱力學(xué)中的熱量轉(zhuǎn)換。他并用大寫的“S”代表之，以紀(jì)念法國(guó)的熱力學(xué)先驅(qū)卡諾（Sadi Carnot, 1796-1832） 。1923年，當(dāng)他的后輩物理學(xué)家、熱力學(xué)教授普朗克（Rudolf Plank, 1886-1973）來(lái)中國(guó)講學(xué)時(shí)（注：1923年訪華的“普朗克”通常被誤會(huì)為參與創(chuàng)立量子力學(xué)的 Max Planck教授，然而經(jīng)中科院物理所曹則賢研究員等人的考證，大名鼎鼎的 Max Planck不曾訪華，訪華的應(yīng)是一位出生于烏克蘭，后在 Dantzig（原屬東普魯士，現(xiàn)屬波蘭）工業(yè)大學(xué)擔(dān)任熱學(xué)教授的 Rudolf Plank。有興趣的讀者可參看曹則賢《物理學(xué)咬文嚼字：卷一（增補(bǔ)卷）》第27篇“熵非商——the myth of entropy”的補(bǔ)綴部分），他提到的 entropy 表達(dá)為兩數(shù)之商的形式，因而在旁翻譯的胡剛復(fù)博士（1892-1966）靈機(jī)一動(dòng)，將它翻譯成“熵”，既有數(shù)學(xué)的“商”又有熱力學(xué)的“火”。真是妙譯！ 香農(nóng)1948年提出的信息熵不僅成了他開創(chuàng)的信息論的基本概念，而且?guī)椭颂K聯(lián)大數(shù)學(xué)家柯爾莫哥洛夫在1957年建立保測(cè)變換動(dòng)力系統(tǒng)的測(cè)度熵概念以及 1965年其他三位數(shù)學(xué)家發(fā)展連續(xù)變換拓?fù)鋭?dòng)力系統(tǒng)的拓?fù)潇馗拍睢?957年去世的馮·諾依曼大概沒想到熵在動(dòng)力系統(tǒng)中扮演著系統(tǒng)內(nèi)部混亂程度測(cè)量器角色。從谷歌學(xué)術(shù)（scholar.google.com)）網(wǎng)頁(yè)上可知，香農(nóng)這篇文章的被引用次數(shù)已超過(guò) 87400。 香農(nóng)出生在美國(guó)密歇根州一個(gè)名叫 Petoskey 的湖邊小城，這個(gè)湖就是五大湖之一的密歇根湖。美國(guó)歷史上家喻戶曉、在中國(guó)也赫赫有名的大發(fā)明家托馬斯·愛迪生（Thomas Alva Edison, 1847-1931）是他家的遠(yuǎn)房親戚，也是他從小無(wú)比崇拜的英雄。不知他身上流淌的血液與愛迪生有多少交集，他和這個(gè)偉大的前輩一樣從小到老喜歡動(dòng)手，熱衷實(shí)驗(yàn)。不過(guò)他比愛迪生更進(jìn)一步的是，他更喜歡數(shù)學(xué)，因而 20 歲于密歇根大學(xué)本科畢業(yè)時(shí)，拿回家的雙學(xué)士證書是電子工程和數(shù)學(xué)，而后者賜予他的嚴(yán)格邏輯思維訓(xùn)練讓他一輩子受益無(wú)窮。比如，正是他在密歇根大學(xué)修課時(shí)接觸到英國(guó)數(shù)學(xué)家布爾（George Boole, 1815-1864）的最偉大發(fā)明布爾代數(shù)，才成就了他那篇麻省理工學(xué)院歷史上的最優(yōu)秀碩士論文。他的求學(xué)經(jīng)歷對(duì)中國(guó)的工科大學(xué)生和研究生很有啟發(fā)：如果你想成長(zhǎng)為杰出的工程師，年輕時(shí)多學(xué)點(diǎn)數(shù)學(xué)思想，多讀些數(shù)學(xué)書籍，而不要急于沉湎于瑣碎的工程細(xì)節(jié)。 少年香農(nóng) 香農(nóng)的學(xué)術(shù)生涯閃耀著應(yīng)用數(shù)學(xué)的光彩，與林家翹的人生軌跡不謀而合。兩個(gè)同齡人，都不是象牙塔里埋頭推導(dǎo)公式的純粹數(shù)學(xué)家，而是向自然進(jìn)軍對(duì)癥下藥的應(yīng)用數(shù)學(xué)家，一個(gè)在流體力學(xué)和天體力學(xué)里豎立了兩座高峰，一個(gè)開創(chuàng)了整個(gè)數(shù)字線路信息通訊時(shí)代，讓億萬(wàn)民眾充分享受了現(xiàn)代文明的樂趣。他們是追隨英國(guó)人牛頓的數(shù)學(xué)家，不甚欣賞另一個(gè)英國(guó)人哈代對(duì)純數(shù)學(xué)的“孤芳自賞”。自然科學(xué)和工程技術(shù)是他們玩耍數(shù)學(xué)十八般武藝的疆場(chǎng)，因?yàn)檎缳だ栽缇托Q的：“自然之書是用數(shù)學(xué)符號(hào)寫的！” 數(shù)學(xué)，幾百年來(lái)多少人為你唱贊美歌。八百年前的羅吉爾·培根（Roger Bacon, 1212-1294）就預(yù)見到“所有科學(xué)都需要數(shù)學(xué)”，懷特海（Alfred Whitehead, 1861-1947）更把純數(shù)學(xué)視為“人類靈性最富于創(chuàng)造性的產(chǎn)物”，愛因斯坦也把它譽(yù)作“邏輯思想的詩(shī)歌”，而狄拉克則感嘆“上帝用美麗數(shù)學(xué)創(chuàng)造了世界”。我在羅素自傳中也讀到，年輕時(shí)代的他曾想自殺，但未踐行，因?yàn)椤拔蚁Ｍ栏嗟臄?shù)學(xué)”。 在學(xué)術(shù)界，純粹數(shù)學(xué)家們常有“高傲公主”般的自我陶醉，而應(yīng)用數(shù)學(xué)家們時(shí)常做的又是林家翹所不屑一顧的“實(shí)用數(shù)學(xué)”，淪為“科學(xué)的仆人”。怎樣才讓應(yīng)用數(shù)學(xué)家也成為“科學(xué)的主人”呢？套用莎士比亞的名言：“這是個(gè)問題?！笨v觀香農(nóng)的科學(xué)人生，我們似乎能窺見部分解答。 根據(jù)前人的定義，數(shù)學(xué)研究現(xiàn)實(shí)世界的數(shù)量關(guān)系和空間形式。科學(xué)探索自然界的基本規(guī)律，包括物理科學(xué)與生命科學(xué)，而工程則將自然科學(xué)的規(guī)律造福于人類。科學(xué)締造工程，工程推動(dòng)科學(xué)；科學(xué)認(rèn)識(shí)自然，工程改造自然。而數(shù)學(xué)作為科學(xué)之皇后，在科學(xué)技術(shù)的進(jìn)步中往往起著不可思議的關(guān)鍵作用。工程的第一原理源自科學(xué)發(fā)現(xiàn)，科學(xué)的分析工具落腳數(shù)學(xué)推理。工程研究的突破口往往在于數(shù)學(xué)的奇思妙想，抽象思維的引入使得工程科學(xué)如虎添翼。 香農(nóng)的魔方機(jī)器人 歷史上，最有用的數(shù)學(xué)微積分的創(chuàng)立來(lái)自急需解決的科學(xué)與工程問題：航海學(xué)與天體力學(xué)導(dǎo)致通過(guò)位置函數(shù)求解速度與加速度；光學(xué)的透鏡設(shè)計(jì)提出曲線的切線問題；行星與太陽(yáng)的最遠(yuǎn)最近距離等同于求函數(shù)的最優(yōu)值；萬(wàn)有引力的結(jié)論引出曲線求長(zhǎng)、區(qū)域面積體積及重心位置。接踵而至的一些數(shù)學(xué)分支簡(jiǎn)直就是理工問題的孿生兄弟，如變分法脫胎于伯努利的“最速降線問題”，最終催生了歐拉-拉格朗日變分法基本微分方程。到了近代，黎曼幾何成就了愛因斯坦的相對(duì)論，薛定諤把純粹數(shù)學(xué)的虛數(shù)單位放進(jìn)了他的最著名方程，馮·諾依曼用泛函分析的算子理論詮釋量子力學(xué)，甚至哈密爾頓腦袋瓜杜撰的四元數(shù)也派上了大用場(chǎng)。 到了現(xiàn)代，數(shù)學(xué)在理論物理等重要學(xué)科中扮演的角色更是舉不勝舉。最典型的生動(dòng)例子當(dāng)數(shù)楊振寧與陳省身之間的對(duì)話。楊振寧和米爾斯1954年將外爾的交換群規(guī)范場(chǎng)論推廣到非交換群。二十年后楊教授得知規(guī)范場(chǎng)就是微分幾何中的纖維叢的聯(lián)絡(luò)而覺得不可思議：數(shù)學(xué)家居然先于物理學(xué)家無(wú)中生有地創(chuàng)造了概念。陳省身卻回答他“不，不。這在數(shù)學(xué)上是自然而真實(shí)的?！鄙钍苋澜绮∪藲g迎的X-線層析攝影儀（俗稱CT），其思想得益于奧地利數(shù)學(xué)家1917年發(fā)明的“拉東變換”，而美國(guó)理論物理學(xué)家與英國(guó)電子工程師的攜手杰作，得到了諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。 數(shù)學(xué)的持續(xù)發(fā)展離不開科學(xué)技術(shù)不斷提出的新問題、新挑戰(zhàn)。計(jì)算數(shù)學(xué)中的有限元最初由結(jié)構(gòu)力學(xué)工程師們開發(fā)。研究天體力學(xué)的三體問題使得龐加萊首次發(fā)現(xiàn)天體運(yùn)動(dòng)中的混沌現(xiàn)象，并開創(chuàng)了微分方程的定性理論及對(duì)拓?fù)鋵W(xué)的研究?；孟腴L(zhǎng)期天氣預(yù)報(bào)的可能性讓洛倫茨在數(shù)值計(jì)算玩具天氣模型時(shí)無(wú)意中發(fā)現(xiàn)了“蝴蝶效應(yīng)”，但如果他缺乏足夠的數(shù)學(xué)訓(xùn)練，這個(gè)發(fā)現(xiàn)就可能因稍縱即逝而把“混沌之父”的桂冠讓給他人。谷歌之所以能在網(wǎng)絡(luò)搜索引擎上一鳴驚人，就得益于它的兩位創(chuàng)始人使用隨機(jī)矩陣的利器而創(chuàng)造的“網(wǎng)頁(yè)排序”新方法，世界上最大的矩陣——谷歌矩陣，就是他們創(chuàng)業(yè)的最大寶庫(kù)。數(shù)學(xué)在這些創(chuàng)新活動(dòng)中總是扛著大旗走在前的。 香農(nóng)在創(chuàng)立信息論的過(guò)程中，也是通過(guò)數(shù)學(xué)來(lái)揭示信息世界的規(guī)律，數(shù)學(xué)地思考通訊的基本問題，著重探索信息編碼與信息傳輸這些關(guān)鍵術(shù)語(yǔ)，將概率論創(chuàng)造性地應(yīng)用于信息不確定性的量化研究中，從而首次提出“信息熵”的革命性概念。他的研究方式與林家翹的應(yīng)用數(shù)學(xué)理念完全一致，這就是主動(dòng)提出研究對(duì)象中的科學(xué)問題，通過(guò)問題的解決加深認(rèn)識(shí)，或創(chuàng)造新知識(shí)，最終解決問題。這就是應(yīng)用數(shù)學(xué)的真諦。 簡(jiǎn)潔性是數(shù)學(xué)美的特點(diǎn)，也是應(yīng)用數(shù)學(xué)美的標(biāo)準(zhǔn)。在外爾眼里，數(shù)學(xué)中的“美”比“真”更令他向往。愛因斯坦的質(zhì)能等式 E=mc2 很美，更不要說(shuō)被稱為最美公式的歐拉等式 eiπ+1=0 了。香農(nóng)推導(dǎo)出的信息熵表達(dá)式也是美得不得了，因?yàn)樗鼉H僅由簡(jiǎn)單函數(shù) -xlnx 在有限個(gè)點(diǎn)上的值相加而成。更令人驚奇的是，這個(gè)信息世界最偉大的數(shù)學(xué)式子，竟然可用初等數(shù)學(xué)的工具完全推導(dǎo)出。下面我們看看香農(nóng)是怎樣推演出信息熵公式的。 H(p1, p2, … , pn ) ≤ H(1/n, 1/n, …,1/n) 。 香農(nóng)并未用上述公理來(lái)推導(dǎo)熵公式，而只給出如下“三項(xiàng)基本原則”就本質(zhì)上確定了熵的漂亮式子。第一項(xiàng)基本原則是：H(1/n, 1/n, …, 1/n) 是自然數(shù) n 的嚴(yán)格遞增函數(shù)。這個(gè)事實(shí)可以用玩拋硬幣和擲骰子的游戲看出。每拋一次硬幣，正面或背面朝上的概率均為 1/2，而每擲一次骰子，立方體每個(gè)面朝上的概率均為 1/6。我們知道，方塊某個(gè)面朝上的不確定度應(yīng)大于硬幣正面或反面朝上的不確定度，即 H(1/2, 1/2) < h(1/6,="" 1/6,="" 1/6,="" 1/6,="" 1/6,=""> 第二項(xiàng)基本原則是：如果一個(gè)不確定事件分解成幾個(gè)持續(xù)事件，則原先事件的不確定度等于持續(xù)事件不確定度的加權(quán)和。這個(gè)理解起來(lái)稍難一點(diǎn)，我們用例子幫助說(shuō)明。假設(shè)物理系趙教授、數(shù)學(xué)系錢教授和孫教授競(jìng)爭(zhēng)理學(xué)院習(xí)院長(zhǎng)發(fā)放的科研基金，每人申請(qǐng)成功的概率分別為 1/2, 1/3, 1/6。院長(zhǎng)很公平，讓兩系得獎(jiǎng)機(jī)會(huì)均等，即獲獎(jiǎng)概率都是 1/2。若物理系拿到基金，就到了趙教授名下。如數(shù)學(xué)系得獎(jiǎng)，錢教授有 2/3 的概率到手，而孫教授只有1/3的機(jī)會(huì)取勝。這三個(gè)教授獲得院長(zhǎng)基金的不確定度 H(1/2, 1/3, 1/6)，就應(yīng)該等于物理系或數(shù)學(xué)系拿到這筆基金的不確定度 H(1/2, 1/2)，加上數(shù)學(xué)系贏得該基金的概率 1/2 與在數(shù)學(xué)系拿到基金的條件下，錢教授或?qū)O教授得到它的不確定度 H(2/3, 1/3) 之乘積。換言之，H(1/2, 1/3, 1/6) = H(1/2, 1/2) + ? H(2/3, 1/3)。 剩下的基本原則只屬于數(shù)學(xué)：對(duì)固定的自然數(shù) n，不確定度函數(shù) H 是 (p1, p2, … , pn) 的連續(xù)函數(shù)。這是一切數(shù)學(xué)公式的基本屬性。 香農(nóng)證明了：任何定義于所有樣本空間上的函數(shù) H，只要它滿足上述的“三項(xiàng)基本原則”，除了常數(shù)因子，必有如下表達(dá)式： H(p1, p2, … , pn) = - (p1lnp1 + p2lnp2 + … + pnlnpn)。 由此可見，對(duì)應(yīng)于樣本空間 (p1, p2, … , pn) 的熵是函數(shù) - xlnx 在點(diǎn) p1, p2, … , pn 上的值之和。如果此表達(dá)式乘上熱力學(xué)中著名的玻爾茲曼常數(shù)，信息熵完全就和十九世紀(jì)美國(guó)最偉大的數(shù)學(xué)物理學(xué)家吉布斯在統(tǒng)計(jì)熱力學(xué)中得到的“吉布斯熵”一模一樣。 現(xiàn)在展示熵公式的初等證明，無(wú)需大學(xué)知識(shí)，分三步進(jìn)行。 第一步：記 A(n) = H(1/n,1/n,…,1/n)。我們通過(guò)圖示 用 n = 23 引出一般結(jié)論。逐次應(yīng)用上述第二項(xiàng)基本原則得到 A(23) = A(2) + [2-1A(2) + 2-1A(2)] + [4-1A(2) + 4-1A(2) + 4-1A(2) + 4-1A(2)] = A(2) + A(2) + A(2) = 3A(2)。 推而廣之就有 A(sm) = A(s) + s[s-1A(s)] + … + sm-1[s-(m-1)A(s)] = m A(s) 。······ (I) 現(xiàn)在假設(shè)四個(gè)自然數(shù) t, s, n, m 滿足不等式 sm ≤ tn <>m+1 。 兩邊求對(duì)數(shù)，得 mlns ≤ nlnt < (m="" +="">lns，即 m/n ≤ lnt / lns < m/n="" +="" 1/n=""> 因而有 |m/n – lnt / lns| < 1/n="" ?！ぁぁぁぁぁ?""> 由第一項(xiàng)基本原則，A(k) 是 k 的遞增函數(shù)。故式 (I) 推出 m A(s) ≤ n A(t) < (m="" +=""> |m/n – A(t)/A(s)| < 1/n=""> 式 (II) 和 (III) 保證了 |A(t)/A(s) – lnt / lns| < 2/n=""> 既然 n 可為任意自然數(shù)，就有 A(t)/A(s) = lnt / ln s，或言之， A(t) / lnt ≡ A(s) / lns。 故存在正常數(shù) C（取為1），使得 A(t) = Clnt = lnt。因此 H(1/n, …, 1/n) = lnn = - ∑in=1 (1/n) ln(1/n)， 即熵公式在 p1, p2, … , pn = 1/n 時(shí)成立。 第二步：證明熵公式對(duì)所有和為 1 的正有理數(shù) p1, p2, … , pn 都對(duì)。我們用p1 = 1/2, p2 = 1/3, p3 = 1/6 來(lái)闡述證明的思想。 根據(jù)第二項(xiàng)基本原則， H(1/6,…,1/6) = H(1/2,1/3,1/6) +2-1H(1/3,1/3,1/3) +3-1H(1/2,1/2)+6-1H(1)。 移項(xiàng)后， H(1/2,1/3,1/6) = H(1/6,…,1/6) - 2-1H(1/3,1/3,1/3) - 3-1H(1/2,1/2) - 6-1H(1)。 如此分解是為了用到第一步的結(jié)果。將分?jǐn)?shù)寫成具有共同分母的形式 p1 = 1/2 = 3/(3+2+1) = n1/(n1+n2+n3), p2 = 1/3 = 2/(3+2+1) = n2/(n1+n2+n3), p3 = 1/6 = 1/(3+2+1) = n3/(n1+n2+n3), 上述分解就是 H(p1, p2, p3) = A(n1+n2+n3) – [p1A(n1) + p2A(n2) + p3A(n3)]。 推廣到一般情形 p1, p2, … , pk：設(shè) pi = ni/(n1 + … + nk), i = 1, 2, …, k， 則有等式 H(p1, p2, … , pk) = A(n1 + … + nk) - [p1A(n1) + … + pkA(nk) ]。 將 A(n) = lnn 代入，就有 H(p1, p2, … , pk) = ln(n1 + … + nk) – (p1lnn1 + … + pklnnk) = (p1 + … + pk) ln(n1 + … + nk) – (p1lnn1 + … + pklnnk) = - [p1ln(n1 /(n1 + … + nk)) + … + pkln(nk/(n1 + … + nk))] = - (p1lnp1 + … + pklnpk) 。 第三步：既然熵公式對(duì)所有和為 1 的正有理數(shù)成立，那么由第三項(xiàng)基本原則推出它對(duì)所有和為 1 的非負(fù)實(shí)數(shù)成立。這就完成了證明。 信息熵公式基于的函數(shù) - xlnx，它的圖像是向下彎曲的曲線，其上任意兩點(diǎn)的連線都在這兩點(diǎn)之間的曲線段之下?？捎贸醯任⒎謱W(xué)證明對(duì)任意不同正數(shù) a 和 b，有吉布斯不等式 a – alna < b="" –="">lnb。運(yùn)用它可證信息熵的確滿足我們前面指出的最大值原理，即當(dāng)所有的 p1, p2, … , pn 都選為 1/n 時(shí)，信息熵取最大值 lnn，這與我們的直觀相符。 沒想到吧？伴隨高超的想象力和創(chuàng)造性的思維，即便初等數(shù)學(xué)也能導(dǎo)致偉大的發(fā)現(xiàn)。信息熵現(xiàn)在也叫“香農(nóng)熵”，它簡(jiǎn)單而美麗的表達(dá)式，是五彩繽紛的現(xiàn)代信息與通訊時(shí)代的發(fā)源地，也是“數(shù)學(xué)，只有數(shù)學(xué)，才是科學(xué)技術(shù)發(fā)展的原動(dòng)力”這句斷言的見證者。
我們現(xiàn)在探討一下怎樣成為好的理工學(xué)家。歷史上，數(shù)學(xué)家沒有專門的稱號(hào)，因?yàn)樗麄兺瑫r(shí)也是其它學(xué)家，如阿基米德既被美國(guó)數(shù)學(xué)史家貝爾稱為史上最偉大的三個(gè)數(shù)學(xué)家之一（另兩個(gè)是牛頓和高斯），同時(shí)也是古希臘最偉大的物理學(xué)家，并是了不起的工程學(xué)家，他用杠桿原理制作的遠(yuǎn)程石炮讓敵艦狼狽逃竄。文藝復(fù)興后三百年間的科學(xué)家，許多兼任數(shù)學(xué)家與工程師，如伽利略、帕斯卡、牛頓。20世紀(jì)前最后的全能數(shù)學(xué)家龐加萊也是被提名諾貝爾物理獎(jiǎng)次數(shù)最多的科學(xué)家和工程師。進(jìn)入20世紀(jì)不久，大量的純數(shù)學(xué)家與科學(xué)家、工程師漸行漸遠(yuǎn)，老死不相往來(lái)，躲在象牙塔證明他們的定理去了。 但是新世紀(jì)看到了曙光！現(xiàn)在數(shù)學(xué)家與科學(xué)家、工程師又開始了合作。這是個(gè)“雙贏”的時(shí)代，數(shù)學(xué)家與工程師的聯(lián)姻催生了壯碩的“產(chǎn)兒”：密碼學(xué)、運(yùn)籌學(xué)、計(jì)算流體力學(xué)、復(fù)雜網(wǎng)絡(luò)、材料科學(xué)、控制論等等。科學(xué)技術(shù)的理想狀態(tài)是：“工程師”與“應(yīng)用數(shù)學(xué)家”幾乎成為同義詞。這就對(duì)工程師的培養(yǎng)提出了極高的要求?？茖W(xué)史上有兩位同樣偉大的英國(guó)物理學(xué)家，但由于其不同的數(shù)學(xué)訓(xùn)練，讓其中的一位終身遺憾。他們是法拉第與麥克斯韋。前者發(fā)現(xiàn)了電磁感應(yīng)，但他有限的數(shù)學(xué)知識(shí)未能使他理論上“更上一層樓”，而后者從大學(xué)起就接受了良好的數(shù)學(xué)教育，大一即拜得哈密爾頓為導(dǎo)師，最終成為了偉大的數(shù)學(xué)家、物理學(xué)家。麥克斯韋方程源自法拉第的實(shí)驗(yàn)，是法拉第定律等的數(shù)學(xué)化，是電磁場(chǎng)論中的“牛頓力學(xué)”，是經(jīng)典電動(dòng)力學(xué)的基石。在麥克斯韋電磁理論的指引下，赫茲實(shí)驗(yàn)證明了電磁波的存在，并證明電磁波與光波速度一樣。麥克斯韋方程是電磁波之母，她對(duì)于電子工程學(xué)猶如牛頓力學(xué)對(duì)于工程力學(xué)。即便現(xiàn)在，計(jì)算數(shù)學(xué)家與電子工程學(xué)家還在馬不停蹄地研究它。
受過(guò)數(shù)學(xué)訓(xùn)練的工程師更易成功。比香農(nóng)更早的典范非空氣動(dòng)力學(xué)家馮·卡門莫屬。他早年鉆研數(shù)學(xué)與理論物理，在希爾伯特時(shí)代的哥廷根大學(xué)受過(guò)抽象思維的熏陶，其杰出成就讓他在肯尼迪總統(tǒng)手上接過(guò)美國(guó)的第一枚國(guó)家科學(xué)獎(jiǎng)。我熟悉的一位任教香港的華人電子工程學(xué)家，跟香農(nóng)一樣是個(gè)數(shù)學(xué)博士，著作等身、成就卓然。另一位為《數(shù)學(xué)文化》寫過(guò)文章的大陸工程系教授，也是名校響當(dāng)當(dāng)?shù)臄?shù)學(xué)博士。我曾在一次演講稿中用排比句描繪了好的工程學(xué)家： 既如工程師具備現(xiàn)實(shí)主義針對(duì)性， 又像數(shù)學(xué)家充滿浪漫主義想象力， 既保持工程科學(xué)一絲不茍的傳統(tǒng)， 又崇尚數(shù)學(xué)思維海闊天空的探索。 既行使“拿來(lái)主義”的天賦權(quán)利， 又充滿“歸納提高”的創(chuàng)新意識(shí)。 既對(duì)實(shí)際問題對(duì)癥下藥一展良方， 又能抽象提高頂天立地上下求索。 一言以蔽之，好的工程學(xué)家應(yīng)該是一位有敏銳數(shù)學(xué)頭腦的工程師。香農(nóng)從求學(xué)到創(chuàng)造，給我們最大的啟示就是，我們工程學(xué)院的教育應(yīng)該多重視數(shù)學(xué)思維的邏輯訓(xùn)練，我們正在求學(xué)的未來(lái)工程師應(yīng)該去數(shù)學(xué)系修一些充滿抽象語(yǔ)言的“無(wú)用數(shù)學(xué)”。 |
|
|
來(lái)自： Do_it_yourself > 《科技》
