信息論

所屬分類： 信息論 基本物理概念 學(xué)科名 心理學(xué) 心理學(xué)術(shù)語(yǔ) 數(shù)學(xué)術(shù)語(yǔ) 術(shù)語(yǔ) 物理學(xué) 電子 電子工程 電子術(shù)語(yǔ) 神經(jīng)科學(xué) 語(yǔ)言學(xué) 通信技術(shù)

信息論的創(chuàng)始人是美貝爾電話研究所的數(shù)學(xué)家申農(nóng)（C.E.Shannon1916——），他為解決通訊技術(shù)中的信息編碼問(wèn)題，突破發(fā)老框框，把發(fā)射信息和接收信息作為一個(gè)整體的通訊過(guò)程來(lái)研究，提出發(fā)通訊系統(tǒng)的一般模型；同時(shí)建立了信息量的統(tǒng)計(jì)公式，奠定了信息論的理論基礎(chǔ)。1948年申農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文，成為信息論誕生的標(biāo)志。申農(nóng)創(chuàng)立信息論，是在前人研究的基礎(chǔ)上完成的。1922年卡松提出邊帶理論，指明信號(hào)在調(diào)制（編碼）與傳送過(guò)程中與頻譜寬度的關(guān)系。1922年哈特萊發(fā)表《信息傳輸》的文章，首先提出消息是代碼、符號(hào)而不是信息內(nèi)容本身，使信息與消息區(qū)分開來(lái)，并提出用消息可能數(shù)目的對(duì)數(shù)來(lái)度量消息中所含有的信息量，為信息論的創(chuàng)立提供了思路。美國(guó)統(tǒng)計(jì)學(xué)家費(fèi)希爾從古典統(tǒng)計(jì)理論角度研究了信息理論，蘇聯(lián)數(shù)學(xué)家哥爾莫戈洛夫也對(duì)信息論作過(guò)研究?？刂普搫?chuàng)始人維納建立了維納濾波理論和信號(hào)預(yù)測(cè)理論，也提出了信息量的統(tǒng)計(jì)數(shù)學(xué)公式，甚至有人認(rèn)為維納也是信息論創(chuàng)始人之一。 在信息論的發(fā)展中，還有許多科學(xué)家對(duì)它做出了卓越的貢獻(xiàn)。法國(guó)物理學(xué)家L.布里淵（L.Brillouin）1956年發(fā)表《科學(xué)與信息論》專著，從熱力學(xué)和生命等許多方面探討信息論，把熱力學(xué)熵與信息熵直接聯(lián)系起來(lái)，使熱力學(xué)中爭(zhēng)論了一個(gè)世紀(jì)之久的“麥克斯韋爾妖”的佯謬問(wèn)題得到了滿意的解釋。英國(guó)神經(jīng)生理學(xué)家（W.B.Ashby）1964年發(fā)表的《系統(tǒng)與信息》等文章，還把信息論推廣應(yīng)用芋生物學(xué)和神經(jīng)生理學(xué)領(lǐng)域，也成為信息論的重要著作。這些科學(xué)家們的研究，以及后來(lái)從經(jīng)濟(jì)、管理和社會(huì)的各個(gè)部門對(duì)信息論的研究，使信息論遠(yuǎn)遠(yuǎn)地超越了通訊的范圍。

目錄 [隱藏]

• 1 信息概念
• 2 信息的定義
• 3 信息量
• 4 信息特征
• 5 信息論

信息論-信息概念

 

信息科學(xué)是以信息為主要研究對(duì)象，以信息的運(yùn)動(dòng)規(guī)律和應(yīng)用方法為主要研究?jī)?nèi)容，以計(jì)算機(jī)等技術(shù)為主要研究工具，以擴(kuò)展人類的信息功能為主要目標(biāo)的一門新興的綜合性學(xué)科。信息科學(xué)由信息論、控制論、計(jì)算機(jī)科學(xué)、仿生學(xué)、系統(tǒng)工程與人工智能等學(xué)科互相滲透、互相結(jié)合而形成的。60年代中，由于出現(xiàn)復(fù)雜的工程大系統(tǒng)需要用計(jì)算機(jī)來(lái)控制生產(chǎn)過(guò)程，系統(tǒng)辨識(shí)成為重要研究課題。從信息科學(xué)的觀點(diǎn)來(lái)看，系統(tǒng)辨識(shí)就是通過(guò)輸入輸出信息來(lái)研究控制系統(tǒng)的行為和內(nèi)部結(jié)構(gòu)，并用簡(jiǎn)明的數(shù)學(xué)模型來(lái)加以表示?？刂凭褪歉鶕?jù)系統(tǒng)結(jié)構(gòu)和要求對(duì)信息加工、變換和利用。

“信息”使用的廣泛性使得我們難以給“信息”下一個(gè)確切的定義，但是，一般說(shuō)來(lái)，信息可以界定為由信息源（如自然界、人類社會(huì)等）發(fā)出的被使用者接受和理解的各種信號(hào)。作為一個(gè)社會(huì)概念，信息可以理解為人類共享的一切知識(shí)，或社會(huì)發(fā)展趨勢(shì)以及從客觀現(xiàn)象中提煉出來(lái)的各種消息之和。信息并非事物本身，而是表征事物之間聯(lián)系的消息、情報(bào)、指令、數(shù)據(jù)或信號(hào)。一切事物，包括自然界和人類社會(huì)，都在發(fā)出信息。我們每個(gè)人每時(shí)每刻都在接收信息。在人類社會(huì)中，信息往往以文字、圖象、圖形、語(yǔ)言、聲音等形式出現(xiàn)。就本體論意義而言，信息是標(biāo)志事物存在及其關(guān)系的屬性。但這樣的描述難以將信息定量化，就認(rèn)識(shí)論意義

信息論-信息的定義

 

就本體論意義而言，信息是事物現(xiàn)象及其屬性標(biāo)識(shí)的集合;信息就是信息，信息是物質(zhì)、能量、信息及其屬性的標(biāo)示----Wiener信息定義的逆.信息特性是標(biāo)志事物存在及其關(guān)系的屬性。但這樣的描述難以將信息定量化，因此申農(nóng)是從就認(rèn)識(shí)論意義而言定義信息的，即信息是認(rèn)識(shí)主體接收到的、可以消除對(duì)事物認(rèn)識(shí)不確定性的新內(nèi)容和新知識(shí)。信息是確定性的增加----逆仙農(nóng)（Shannon）信息定義。根據(jù)這一點(diǎn)給出了信息量的數(shù)學(xué)形式。

信息熵的補(bǔ)

信息論-信息量

 

信息量是信息論中量度信息多少的一個(gè)物理量。它從量上反映具有確定概率的事件發(fā)生時(shí)所傳遞的信息。

用H（x）表示為信息熵，是信源整體的平均不定度。而用I（p）表示為信息，是從信宿角度代表收到信息后消除不定性的程度，也就是獲得新知識(shí)的量，所以它只不在信源發(fā)出的信息熵被信宿收到后才有意義。在排除干擾的理想情況下，信源發(fā)出的信號(hào)與信宿接收的信號(hào)一一對(duì)應(yīng)，H（x）與I（p）二者相等。

信息的量度與它所代表的事件的隨機(jī)性或各外事件發(fā)生的概率有關(guān)，當(dāng)事件發(fā)生的概率大，事先容易判斷，有關(guān)此事件的消息排隊(duì)事件發(fā)生的不確定程度小，則包含的信息量就??；反之則大。從這一點(diǎn)出發(fā)，信息論利用統(tǒng)計(jì)熱力學(xué)中熵的概念，建立了對(duì)信息的量度方法。在統(tǒng)計(jì)熱力學(xué)中，熵是系統(tǒng)的無(wú)序狀態(tài)的量度，即系統(tǒng)的不確定性的量度。

申農(nóng)的信息量公式：H(x) =ΣP(x_i)h(x_i)= —ΣP(x_i)·log₂P(x_i)

其中：h(x_i) = —log₂P(x_i)，表示某狀態(tài)x_i的不定性數(shù)量或所含的信息量。若P(x_i)=1，則h(x_i) =0；若P(x_i)=0，則h(x_i) =∞；當(dāng)ｎ=2，且P1=P2=1/2時(shí)，H(x)=1比特。因此可見一個(gè)等幾率的二中擇一的事件具有1比特的不定性或信息量。

共同信息(Mutual Information)是另一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。兩個(gè)事件X和Y的共同信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中 H(X,Y) 是共有熵(Joint Entropy)，其定義為：H(X,Y) = -∑p(x,y)logp(x,y)

信息量所表示的是體系的有序度、組織結(jié)構(gòu)程度、復(fù)雜性、特異性或進(jìn)化發(fā)展程度。這是熵（無(wú)序度、不定度、混亂度）的矛盾對(duì)立面，即負(fù)熵。

關(guān)于信息論的熵與熱力學(xué)熵的關(guān)系，布里淵（L.Brillouin）、林啟茨（H.Linschitz）和奧根斯坦（L.Augensine）等曾進(jìn)行過(guò)初步討論。在數(shù)學(xué)式中的表示方面，比較熵的公式S=KlnP，于是我們有：

Ｉ＝－log₂e·S／Ｋ

信息論-信息特征

 

信息一般具有如下一些特征：

1、可識(shí)別；

2、可轉(zhuǎn)換；

3、可傳遞；

4、可加工處理；

5、可多次利用（無(wú)損耗性）；

6、在流通中擴(kuò)充；

7、主客體二重性。信息是物質(zhì)相互作用的一種屬性，涉及主客體雙方；信息表征信源客體存在方式和運(yùn)動(dòng)狀態(tài)的特性，所以它具有客體性，絕對(duì)性；但接收者所獲得的信息量和價(jià)值的大小，與信宿主體的背景有關(guān)表現(xiàn)了信息的主體性和相對(duì)性。

8、信息的能動(dòng)性。

9、可共享性。這是信息與物質(zhì)和能量的主要區(qū)別。

信息的產(chǎn)生、存在和流通，依賴于物質(zhì)和能量，沒(méi)有物質(zhì)和能量就沒(méi)有能動(dòng)作用。信息可以控制和支配物質(zhì)與能量的流動(dòng)。

信息論-信息論

 

信息論是研究信息的產(chǎn)生、獲取、變換、傳輸、存貯、處理識(shí)別及利用的學(xué)科。信息論還研究信道的容量、消息的編碼與調(diào)制的問(wèn)題以及噪聲與濾波的理論等方面的內(nèi)容。信息論還研究語(yǔ)義信息、有效信息和模糊信息等方面的問(wèn)題。信息論有狹義和廣義之分。狹義信息論即申農(nóng)早期的研究成果，它以編碼理論為中心，主要研究信息系統(tǒng)模型、信息的度量、信息容量、編碼理論及噪聲理論等。廣義信息論又稱信息科學(xué)，主要研究以計(jì)算機(jī)處理為中心的信息處理的基本理論，包括評(píng)議、文字的處理、圖像識(shí)別、學(xué)習(xí)理論及其各種應(yīng)用。廣義信息論則把信息定義為物質(zhì)在相互作用中表征外部情況的一種普遍屬性，它是一種物質(zhì)系統(tǒng)的特性以一定形式在另一種物質(zhì)系統(tǒng)中的再現(xiàn)。廣義信息論包括了狹義信息論的內(nèi)容，但其研究范圍卻比通訊領(lǐng)域廣泛得多，是狹義信息論在各個(gè)領(lǐng)域的應(yīng)用和推廣，因此，它的規(guī)律也更一般化，適用于各個(gè)領(lǐng)域，所以它是一門橫斷學(xué)科。廣義信息論，人們也稱它為信息科學(xué)。

信息和控制是信息科學(xué)的基礎(chǔ)和核心。70年代以來(lái)，電視、數(shù)據(jù)通信、遙感和生物醫(yī)學(xué)工程的發(fā)展，向信息科學(xué)提出大量的研究課題，如信息的壓縮、增強(qiáng)、恢復(fù)等圖像處理和傳輸技術(shù)，信息特征的抽取、分類和識(shí)別的模式、識(shí)別理論和方法，出現(xiàn)了實(shí)用的圖像處理和模式識(shí)別系統(tǒng)。

申農(nóng)最初的信息論只對(duì)信息作了定量的描述，而沒(méi)有考慮信息的其他方面，如信息的語(yǔ)義和信息的效用等問(wèn)題。而這時(shí)的信息論已從原來(lái)的通信領(lǐng)域廣泛地滲入到自動(dòng)控制、信息處理、系統(tǒng)工程、人工智能等領(lǐng)域，這就要求對(duì)信息的本質(zhì)、信息的語(yǔ)義和效用等問(wèn)題進(jìn)行更深入的研究，建立更一般的理論，從而產(chǎn)生了信息科學(xué)。

迄今為止，人類社會(huì)已經(jīng)發(fā)生過(guò)四次信息技術(shù)革命。

第一次革命是人類創(chuàng)造了語(yǔ)言和文字，接著現(xiàn)出了文獻(xiàn)。語(yǔ)言、文獻(xiàn)是當(dāng)時(shí)信息存在的形式，也是信息交流的工具。

第二次革命是造紙和印刷技術(shù)的出現(xiàn)。這次革命結(jié)束了人們單純依靠手抄、撰刻文獻(xiàn)的時(shí)代，使得知識(shí)可以大量生產(chǎn)、存貯和流通，進(jìn)一步擴(kuò)大了信息交流的范圍。

第三次革命是電報(bào)、電話、電視及其它通訊技術(shù)的發(fā)明和應(yīng)用。這次革命是信息傳遞手段的歷史性變革，它結(jié)束了人們單純依靠烽火和驛站傳遞信息的歷史，大大加快了信息傳遞速度。

第四次革命是電子計(jì)算機(jī)和現(xiàn)代通訊技術(shù)在信息工作中的應(yīng)用。電子計(jì)算機(jī)和現(xiàn)代通訊技術(shù)的有效結(jié)合，使信息的處理速度、傳遞速度得到了驚人的提高；人類處理信息利用信息的能力達(dá)到了空前的高度。今天，人類社會(huì)已經(jīng)進(jìn)入了所謂的信息社會(huì)。