香農(nóng)定理是信息論的主要內(nèi)容。香農(nóng)定理實(shí)際上是多個(gè)定理構(gòu)成，國(guó)內(nèi)似乎比較常用“香農(nóng)三定理”的提法，而在國(guó)外資料很少這么提.

信息論和香農(nóng)定理

信息論研究信息的量化，存儲(chǔ)和傳播。最初由克勞德·香農(nóng)于1948年提出，他在具有里程碑意義的題為《通訊的數(shù)學(xué)原理》的論文中闡述了信號(hào)處理和通信操作（如數(shù)據(jù)壓縮）的基本限制。信息論的基本的應(yīng)用主題包括無(wú)損數(shù)據(jù)壓縮（例如ZIP文件），有損數(shù)據(jù)壓縮（例如MP3和JPEG）和信道編碼（例如用于DSL）。

信息論的一個(gè)關(guān)鍵量是“熵”。熵是不確定性的定量描述。例如，擲骰子的可能性。信息論中還討論的其他一些重要的量包括：互信息、信道容量、誤差指數(shù)和相對(duì)熵等等。

上圖：克勞德·艾爾伍德·香農(nóng)-1916.4.30-2001.2.24,享年84歲。美國(guó)。專(zhuān)業(yè)領(lǐng)域：電子工程學(xué)和數(shù)學(xué)。

香農(nóng)定理涉及這三個(gè)部分：

• 信道編碼——主要涉及噪音下模擬信道的信道容量的定理，即香農(nóng)-哈特利定理（香農(nóng)-哈特利定理只描述涉及高斯噪音的模擬信道，但還有二進(jìn)制信道模式的模式的對(duì)應(yīng)定理這里略述）

• 信源編碼——包含涉及無(wú)損編碼和有損編碼的兩個(gè)定理；

• 信源采樣——奈奎斯特-香農(nóng)采樣定理

但國(guó)內(nèi)資料常說(shuō)的“香農(nóng)三定理”是指前兩個(gè)部分所涉及的的三個(gè)定理，下面主要詳述這三個(gè)定理：

有噪音的模擬信道編碼定理（國(guó)外資料一般稱(chēng)“香農(nóng)-哈特利定理”）

注意：這個(gè)定理在國(guó)外資料中才通常被簡(jiǎn)稱(chēng)為“香農(nóng)定理”

這個(gè)定理通俗地說(shuō)，就是首先表明了如果傳輸信息的信道存在噪音，但是也可以實(shí)現(xiàn)信息的傳遞，然后可以根據(jù)帶寬等參數(shù)計(jì)算出信息傳遞的最大的有效速率。

這可以通俗地類(lèi)比我們熟悉的語(yǔ)音通話，雖然在電話里面有很多電流噪音或者環(huán)境噪音，但是我們?nèi)匀豢梢月?tīng)懂對(duì)方講的話。因?yàn)槲覀冇谜Z(yǔ)音和語(yǔ)言對(duì)信息進(jìn)行了雙重的編碼，

“語(yǔ)音”這種編碼可以在大量噪音干擾的情況下仍然能夠工作，那是因?yàn)槲覀兊穆曇敉ǔＳ幸粋€(gè)帶寬，但噪音往往只是某一個(gè)頻率的聲音，不一定能夠覆蓋我們嗓音的全頻段。因此即便低音或高音被噪音干擾，我們?nèi)匀荒苈?tīng)到對(duì)方在說(shuō)什么。而另一方面，如果對(duì)方聽(tīng)不清楚，我們還可以提高嗓門(mén)來(lái)提升我們說(shuō)話的“信噪比”，從而保證對(duì)方能夠聽(tīng)清楚我們所說(shuō)的話。

上圖：有噪信道編碼定理的計(jì)算公式，可以用打電話的例子來(lái)解釋一下。嗓音越高，噪音越低，嗓音越渾厚（而不是尖利，尖利的嗓音所用的頻段要少一點(diǎn)），就越容易被聽(tīng)清楚。[頭條·小宇堂]

可變長(zhǎng)無(wú)失真信源編碼定理（無(wú)損編碼）

通俗地說(shuō)就是我們今天用到的各種無(wú)損編碼算法——我們現(xiàn)在用的ZIP,RAR壓縮，以及APE，F(xiàn)LAC等編碼算法都屬于無(wú)損壓縮，采用這些算法可以在不損失原有信息的情況下減少存儲(chǔ)這些信息的數(shù)據(jù)量。

這個(gè)原理通俗點(diǎn)說(shuō)就像是對(duì)一疊紙牌：

• 如果是有序排列的（熵較低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一個(gè)很很短的符號(hào)，例如“A-K”來(lái)記錄這個(gè)序列所代表的信息(這也說(shuō)明這個(gè)序列所含有的信息很少)；

• 但如果這疊紙牌是亂序排列的（熵較高），那么就需要更多的符號(hào)來(lái)記錄才能確保序列所傳達(dá)的信息不丟失。

如果用前面語(yǔ)音通話的例子來(lái)說(shuō)明的話，就是某人口吃說(shuō)了很多重復(fù)話，諸如：“我我我我對(duì)你很很很景景景仰……”，可以無(wú)損地編碼為“我對(duì)你很景仰……”，這就是無(wú)損壓縮，但完全不損失需要表達(dá)的信息（其實(shí)也丟失了口吃重復(fù)數(shù)量的信息，嚴(yán)格地說(shuō)應(yīng)該編碼成“我4對(duì)你很3景3仰……”）。

有損信源編碼定理，又稱(chēng)傳輸率-扭曲定律

該定理通俗的解釋可以沿用前面語(yǔ)音通話的例子，我們用“語(yǔ)音”的編碼方式規(guī)避了信道噪音，此外我們還可以用“語(yǔ)言”編碼的方式“長(zhǎng)話短說(shuō)”來(lái)讓對(duì)方大概了解我要表達(dá)的意思。

例如：“我對(duì)你的景仰，猶如長(zhǎng)江之水滔滔不絕，如黃河泛濫一發(fā)”這句話，可以壓縮成“我好敬仰你”這五個(gè)字，如果打電話這么說(shuō)就省時(shí)間和電話費(fèi)了（例如國(guó)際或者星際長(zhǎng)途）。但是這個(gè)壓縮的過(guò)程是丟失了信息的，諸如那種“滔滔不絕”和“泛濫一發(fā)”的情態(tài)和趕腳就沒(méi)有了。

所以有損壓縮是在設(shè)定的一個(gè)信息丟失率標(biāo)準(zhǔn)之下來(lái)尋找一個(gè)滿足此要求的算法，香農(nóng)告訴你你一定找得到，就這么個(gè)意思。

所以，如果你對(duì)剛才那句表達(dá)景仰的話的“保真率”要求提高一點(diǎn)，可以這么編碼：“我對(duì)你的景仰猶如長(zhǎng)江黃河之水泛濫不絕”。[頭條·小宇堂]

當(dāng)然要保真，“成本”就高了，就得多花點(diǎn)時(shí)間說(shuō)和更多的電話費(fèi)。

上圖：無(wú)損（上）和有損（下）壓縮的差異比較。有損壓縮可以有更大的壓縮率，但是還原之后損失了信息量。

總結(jié)

我們用語(yǔ)音通話的例子來(lái)通俗地解說(shuō)香農(nóng)定理，請(qǐng)?zhí)貏e注意“語(yǔ)音”和“語(yǔ)言”兩種編碼方式，分別對(duì)應(yīng)香農(nóng)定理當(dāng)中的“信道編碼”和“信源編碼”兩個(gè)不同的部分。語(yǔ)音是解決傳輸過(guò)程中噪音問(wèn)題而做的編碼（如果是通過(guò)心靈感應(yīng)就沒(méi)這個(gè)需求了）；語(yǔ)言編碼則可以是有損或者無(wú)損壓縮的，甚至是不壓縮的（就讓他結(jié)巴吧）。

香農(nóng)定理或者說(shuō)香農(nóng)的理論對(duì)旅行者號(hào)深空任務(wù)的成功，光盤(pán)的發(fā)明，手機(jī)通訊的可行性，互聯(lián)網(wǎng)的發(fā)展，語(yǔ)言學(xué)和人類(lèi)感知的研究，乃至對(duì)黑洞的理解和許多其他領(lǐng)域都有非常深遠(yuǎn)的影響。