前言信息論是一門以近代數(shù)理統(tǒng)計方法為工具研究信息的傳輸、存儲與處理的交叉學(xué)科。第一章緒論作為全書開篇沒有復(fù)雜的公式推導(dǎo)主要介紹信息論的發(fā)展歷史、信息的本質(zhì)定義、完整的通信系統(tǒng)模型區(qū)分消息、信息、信號三者概念理解信息論的研究對象與研究意義為后續(xù)學(xué)習(xí)自信息、熵、信源編碼、信道編碼奠定基礎(chǔ)。一.信息論的誕生與發(fā)展1948年香農(nóng)在《Bell System Technical Journal》發(fā)表劃時代論文《通信的數(shù)學(xué)理論》宣告信息論正式誕生。1949年香農(nóng)又發(fā)表《噪聲下的通信》。這兩篇論文闡明了通信的基本問題建立通信系統(tǒng)模型給出信息量的數(shù)學(xué)表達(dá)式解決信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等一系列基礎(chǔ)問題成為信息論的奠基著作。信息論是通信的數(shù)學(xué)理論應(yīng)用近代數(shù)理統(tǒng)計方法研究信息的傳輸、存儲與處理它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來的一門新興的交叉學(xué)科。《通信的數(shù)學(xué)理論》第一次提出了信息熵的概念。信息是信息論中最基本和最重要的概念同時也是一個既復(fù)雜又抽象的概念。在香農(nóng)建立完整信息論體系之前不少學(xué)者已經(jīng)為該領(lǐng)域做出重要鋪墊1.奈奎斯特1924年開始研究電報信號傳輸中脈沖速率與信道帶寬之間的關(guān)系1928年發(fā)表論文建立限帶信號的采樣定理為信號傳輸?shù)於ɡ碚摶A(chǔ)。2.哈特萊首次提出消息是符號而不是內(nèi)容把消息和信息兩個概念區(qū)分開來。并且率先提出使用對數(shù)函數(shù)來度量信息的多少認(rèn)為消息所含信息量等于消息取值個數(shù)的對數(shù)。3.阿姆斯特朗提出增大寬帶可以加強(qiáng)通信系統(tǒng)的抗干擾能力。香農(nóng)在前人研究的基礎(chǔ)上創(chuàng)造性引入概率論來分析通信問題。為了解決噪聲信道下有效傳輸信息的難題香農(nóng)對信息給出科學(xué)的定量描述第一次提出信息熵的概念。香農(nóng)在前人研究的基礎(chǔ)上創(chuàng)造性引入概率論來分析通信問題。為了解決噪聲信道下有效傳輸信息的難題香農(nóng)對信息給出科學(xué)的定量描述第一次提出信息熵的概念。香農(nóng)信息定義信息是對事物運(yùn)動狀態(tài)或者存在方式的不確定性的描述。通信的根本目的就是消除或者部分消除接收端的不確定性。如果一件事件是確定會發(fā)生的那么它不包含任何信息事件發(fā)生的不確定性越大該事件所攜帶的信息量就越大。舉個簡單例子拋擲一枚硬幣正反面結(jié)果不確定我們收到拋擲結(jié)果就獲得信息如果是一個必然發(fā)生的事件比如太陽東升這個事件幾乎不存在不確定性因此幾乎不攜帶信息。二、信息、消息、信號的聯(lián)系與區(qū)別在日常生活中人們經(jīng)?；煜⒑托畔⒄J(rèn)為收到消息就等于獲得信息。但在信息論中三者是完全不同的概念圖片知識概括1.消息信息的載體是信源輸出的具體內(nèi)容?？梢允俏淖?、語音、圖畫、歌曲、視頻等。消息可以被傳遞、交換消息本身不等于信息。2.信息消息中蘊(yùn)含的抽象內(nèi)容作用是消除接收者的不確定性是通信真正要傳遞的對象。3.信號消息的物理表現(xiàn)形式是在信道當(dāng)中實際傳輸?shù)奈锢聿ㄐ伪热珉娦盘?、光信號。將這三個的聯(lián)系與區(qū)別匯成一個表格或圖片使讀者能夠很好的了解。消息、信息與信號的關(guān)系消息是載體信息是內(nèi)容信號是物理表現(xiàn)。三.通信系統(tǒng)模型?????1.信源信息的來源稱為信源可以是人機(jī)器或者其他事物。雖然信源是信息來源但是信源本身不會直接輸出信息信源輸出的是信息的載體 —— 消息。消息有很多表現(xiàn)形式比如一段文字、一幅圖畫、一首歌、一段視頻文字、符號、語言、圖片、圖像、音頻、視頻全部都屬于消息類型。消息攜帶信息消息是信息的載體信源輸出的消息具備隨機(jī)性、不確定性但是消息有確定的統(tǒng)計規(guī)律所以一般可以用隨機(jī)變量、隨機(jī)矢量去描述信源。2.編譯器編碼器將信息變?yōu)榉柣蛘邔?yīng)的符號序列目的是提高傳輸有效性。3.調(diào)制器調(diào)制器負(fù)責(zé)將編碼器輸出的符號轉(zhuǎn)換為適合信道傳輸?shù)男盘柲康氖翘岣邆鬏斝适惯h(yuǎn)距離傳輸成為可能。4.信道信道是信息傳輸?shù)耐ǖ朗加谡{(diào)制器終于解調(diào)器它是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。信道最明顯特點信道普遍存在噪聲與干擾。為簡化系統(tǒng)分析工程上會做等效處理把系統(tǒng)其他位置產(chǎn)生的干擾全部等效集中放到信道里面統(tǒng)一稱為高斯白噪聲只單獨分析信道里面噪聲降低模型復(fù)雜度。5.解調(diào)器解調(diào)器用于信息的接收端負(fù)責(zé)將信道輸出信號轉(zhuǎn)換為符號是調(diào)制器的逆變換。調(diào)制 ? 解調(diào)是一對互逆操作6.譯碼器譯碼器位于信息的接收端是編碼器的逆變換。編碼 ? 譯碼是一對互逆操作7.信宿信宿是信息的接收者及接收消息的人或物。四.本章課后習(xí)題簡述信息的概念和特點。?2. 說明信息、消息及信號之間的聯(lián)系與區(qū)別五.知識概括六.第一章緒論小結(jié)第一章緒論是信息論的入門章節(jié)幫助我們搭建起這門課程的整體框架。信息論是以數(shù)理統(tǒng)計為基礎(chǔ)研究信息傳輸、存儲與處理的交叉學(xué)科1948年香農(nóng)發(fā)表《通信的數(shù)學(xué)理論》標(biāo)志著信息論正式誕生香農(nóng)也從概率、不確定性角度給出了信息的科學(xué)定義。本章需要重點區(qū)分信息和消息信源輸出的是消息消息作為載體可以是文字、圖像、音頻、視頻等形式而信息是隱藏在消息之中用來消除事物不確定性的抽象內(nèi)容。信源發(fā)出的消息具有隨機(jī)性但存在統(tǒng)計規(guī)律因此可以利用隨機(jī)變量、隨機(jī)矢量對信源進(jìn)行數(shù)學(xué)建模為后續(xù)定量計算信息量做好鋪墊。 本章核心是香農(nóng)通信系統(tǒng)七模塊模型香農(nóng)將各類狹義、廣義通信統(tǒng)一抽象為信源、編碼器、調(diào)制器、信道、解調(diào)器、譯碼器、信宿七個部分。發(fā)送端完成消息編碼與調(diào)制送入信道信道傳輸時會疊加噪聲接收端通過解調(diào)、譯碼還原消息交付給信宿編碼與譯碼、調(diào)制與解調(diào)分別構(gòu)成兩組互逆操作。不同編碼有著不同目標(biāo)信源編碼追求有效性信道編碼追求可靠性加密編碼追求安全性其中有效性和可靠性是通信中的一對核心矛盾。 緒論以定性介紹為主主要建立概念認(rèn)知后面章節(jié)將會在此基礎(chǔ)上引入數(shù)學(xué)公式完成從定性理解走向定量分析。