上文講述毫米波通信優(yōu)勢的文章中提到了香農(nóng)定理和香農(nóng)極限，本著再學(xué)習(xí)的態(tài)度，我們詳細(xì)整理一下關(guān)于香農(nóng)的一切。

?

Claude Elwood Shannon

（1916年4月30日—2001年2月24日）

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）是美國數(shù)學(xué)家、信息論的創(chuàng)始人。1936年獲得密歇根大學(xué)學(xué)士學(xué)位[1]?。1940年在麻省理工學(xué)院獲得碩士和博士學(xué)位，1941年進(jìn)入貝爾實驗室工作。香農(nóng)提出了信息熵的概念，為信息論和數(shù)字通信奠定了基礎(chǔ)。主要論文有：1938年的碩士論文《繼電器與開關(guān)電路的符號分析》，1948年的《通訊的數(shù)學(xué)原理》和1949年的《噪聲下的通信》。

人物資料

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon，1916-2001）1916年4月30日誕生于美國密西根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng)時鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官，他們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮(zhèn)里的中學(xué)校長，姓名是Mabel Wolf Shannon。他生長在一個有良好教育的環(huán)境，不過父母給他的科學(xué)影響好像還不如祖父的影響大。香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多農(nóng)業(yè)機(jī)械，這對香農(nóng)的影響比較直接。此外，香農(nóng)的家庭與大發(fā)明家愛迪生（Thomas Alva Edison，1847-1931）還有遠(yuǎn)親關(guān)系。香農(nóng)的大部分時間是在貝爾實驗室和MIT（麻省理工學(xué)院）度過的。在“功成名就”后，香農(nóng)與瑪麗（Mary Elizabeth Moore）1949年3月27日結(jié)婚，他們是在貝爾實驗室相識的，瑪麗當(dāng)時是數(shù)據(jù)分析員。他們共有四個孩子：三個兒子羅伯特（Robert）、詹姆斯（James）、安德魯莫瑞（Andrew Moore）和一個女兒Margarita Catherine。后來身邊還有兩個可愛的孫女。

2001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享年84歲。貝爾實驗室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時代的奠基人。

人物生平

香農(nóng)于1916年4月30日出生于美國密歇根州的Petoskey，并且是愛迪生的遠(yuǎn)親戚。1936年畢業(yè)于密歇根大學(xué)并獲得數(shù)學(xué)和電子工程學(xué)士學(xué)位。1940年獲得麻省理工學(xué)院（MIT）數(shù)學(xué)博士學(xué)位和電子工程碩士學(xué)位。1941年他加入貝爾實驗室數(shù)學(xué)部，工作到1972年。1956年他成為麻省理工學(xué)院（MIT）客座教授，并于1958年成為終生教授，1978年成為名譽(yù)教授。香農(nóng)博士于2001年2月24日去世，享年84歲。

香農(nóng)于1940年在普林斯頓高級研究所（The Institute for Advanced Study at Princeton）期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過8年的努力，香農(nóng)在1948年6月和10月在《貝爾系統(tǒng)技術(shù)雜志》（Bell System Technical Journal）上連載發(fā)表了具有深遠(yuǎn)影響的論文《通訊的數(shù)學(xué)原理》。1949年，香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中，香農(nóng)闡明了通信的基本問題，給出了通信系統(tǒng)的模型，提出了信息量的數(shù)學(xué)表達(dá)式，并解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。

1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入MIT念研究生。

1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位，碩士論文題目是《A Symbolic Analysis of Relay and Switching Circuits》（繼電器與開關(guān)電路的符號分析）。當(dāng)時他已經(jīng)注意到電話交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對應(yīng)起來，并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路，這就奠定了數(shù)字電路的理論基礎(chǔ)。哈佛大學(xué)的Howard Gardner教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文?！?/p>

1940年香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位，而他的博士論文卻是關(guān)于人類遺傳學(xué)的，題目是《An Algebra for Theoretical Genetics》（理論遺傳學(xué)的代數(shù)學(xué))。這說明香農(nóng)的科學(xué)興趣十分廣泛，后來他在不同的學(xué)科方面發(fā)表過許多有影響的文章。

在讀學(xué)位的同時，他還用部分時間跟溫尼法·布什（Vannevar Bush）教授進(jìn)行微分分析器的研究。這種分析器是早期的機(jī)械模擬計算機(jī)，用于獲得常微分方程的數(shù)值解。1941年香農(nóng)發(fā)表了《Mathematical theory of the differential analyzer》（微分分析器的數(shù)學(xué)理論），他寫道：“大多數(shù)結(jié)果通過證明的定理形式給出。最重要的是處理了一些條件，有些條件可以生成一個或多個變量的函數(shù)，有些條件可使常微分方程得到解。還給出了一些注意事項，給出求函數(shù)的近似值（不能產(chǎn)生精確值）、求調(diào)整率的近似值以及自動控制速率的方法。”

1941年香農(nóng)以數(shù)學(xué)研究員的身份進(jìn)入新澤西州的AT&T貝爾電話公司，并在貝爾實驗室工作到1972年，從24歲到55歲，整整31年。1956年他當(dāng)了MIT的訪問教授，1958年成為正式教授，1978年退休。

人們描述香農(nóng)的生活，白天他總是關(guān)起門來工作，晚上則騎著他的獨輪車來到貝爾實驗室。他的同事D. Slepian寫到：“我們大家都帶著午飯來上班，飯后在黑板上玩玩數(shù)學(xué)游戲，但克勞德很少過來。他總是關(guān)起門來工作。但是，如果你要找他，他會非常耐心地幫助你。他能立刻抓住問題的本質(zhì)。他真是一位天才，在我認(rèn)識的人中，我只對他一人使用這個詞?！?/p>

香農(nóng)與John Riordan一起工作，1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)絡(luò)的雙終端數(shù)的論文。這篇論文擴(kuò)展了麥克馬洪（Percy A. MacMahon，1854-1929）1892年在Electrician上發(fā)表的論文理論。

1948年，劃時代的“通信的一個數(shù)學(xué)理論”分成兩部分，在7月和10月的Bell System Technical Journal發(fā)表。文章系統(tǒng)論述了信息的定義，怎樣數(shù)量化信息，怎樣更好地對信息進(jìn)行編碼。在這些研究中，概率理論是香農(nóng)使用的重要工具。香農(nóng)同時提出了信息熵的概念，用于衡量消息的不確定性。

在漫長的歲月，他思考過許多問題。除在普林斯頓高等研究院工作過一年外，主要都在MIT和Bell Lab度過。需要說明的是，在二次世界大戰(zhàn)時，香農(nóng)博士也是一位著名的密碼破譯者（這使人聯(lián)想到比他大4歲的圖靈博士）。他在Bell Lab的破譯團(tuán)隊主要是追蹤德國飛機(jī)和火箭，尤其是在德國火箭對英國進(jìn)行閃電戰(zhàn)時起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《Communication Theory of Secrecy Systems》（保密系統(tǒng)的通信理論），正是基于這種工作實踐，它的意義是使保密通信由藝術(shù)變成科學(xué)。

1948年香農(nóng)在Bell System Technical Journal上發(fā)表了《A Mathematical Theory of Communication 》（通訊的數(shù)學(xué)原理）。論文由香農(nóng)和威沃共同署名。前輩威沃（Warren Weaver，1894-1978）當(dāng)時是洛克菲勒基金會自然科學(xué)部的主任，他為文章寫了序言。后來，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時，使用的是不定冠詞A，收入論文集時改為定冠詞The。

成就與榮譽(yù)

香農(nóng)理論的重要特征是熵（entropy）的概念，他證明熵與信息內(nèi)容的不確定程度有等價關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念，我們可以把它理解為分子運動的混亂度。香農(nóng)將統(tǒng)計物理中熵的概念，引申到信道通信的過程中，從而開創(chuàng)了”信息論“這門學(xué)科。香農(nóng)定義的“熵”又被稱為“香農(nóng)熵” 或 “信息熵”, 即其中i標(biāo)記概率空間中所有可能的樣本，表示該樣本的出現(xiàn)幾率，K是和單位選取相關(guān)的任意常數(shù)?？梢悦黠@看出“信息熵”的定義和“熱力學(xué)熵”（玻爾茲曼公式）的定義只相差某個比例常數(shù)。

熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數(shù)論、天體物理、生命科學(xué)等領(lǐng)域都有重要應(yīng)用，在不同的學(xué)科中也有引申出的更為具體的定義，是各領(lǐng)域十分重要的參量。熵由魯?shù)婪颉た藙谛匏梗≧udolf Clausius）提出，并應(yīng)用在熱力學(xué)中。后來在，克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon）第一次將熵的概念引入到信息論中來。

眾所周知，質(zhì)量、能量和信息量是三個非常重要的量。

人們很早就知道用秤或者天平計量物質(zhì)的質(zhì)量，而熱量和功的關(guān)系則是到了19世紀(jì)中葉，隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱，而能量的計量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。

然而，關(guān)于文字、數(shù)字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什么，它們?nèi)绾谓y(tǒng)一地計量，直到19世紀(jì)末還沒有被正確地提出來，更談不上如何去解決了。20世紀(jì)初期，隨著電報、電話、照片、電視、無線電、雷達(dá)等的發(fā)展，如何計量信號中信息量的問題被隱約地提上日程。

1928年哈特利（R.V. H. Harley）考慮到從D個彼此不同的符號中取出N個符號并且組成一個“詞”的問題。如果各個符號出現(xiàn)的概率相同，而且是完全隨機(jī)選取的，就可以得到D^N個不同的詞。從這些詞里取了特定的一個就對應(yīng)一個信息量I。哈特利建議用N log D這個量表示信息量，即I=N log D。這里的log表示以10為底的對數(shù)。后來，1949年控制論的創(chuàng)始人維納也研究了度量信息的問題，還把它引向熱力學(xué)第二定律。

但是就信息傳輸給出基本數(shù)學(xué)模型的核心人物還是香農(nóng)。1948年香農(nóng)長達(dá)數(shù)十頁的論文“通信的數(shù)學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中，清楚地提出信息的度量問題，他把哈特利的公式擴(kuò)大到概率pi不同的情況，得到了著名的計算信息熵H的公式：

如果計算中的對數(shù)log是以2為底的，那么計算出來的信息熵就以比特（bit）為單位。在計算機(jī)和通信中廣泛使用的字節(jié)（Byte）、KB、MB、GB等詞都是從比特演化而來。“比特”的出現(xiàn)標(biāo)志著人類知道了如何計量信息量。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻(xiàn)。

香農(nóng)在進(jìn)行信息的定量計算的時候，明確地把信息量定義為隨機(jī)不定性程度的減少。這就表明了他對信息的理解：信息是用來減少隨機(jī)不定性的東西。或香農(nóng)逆定義：信息是確定性的增加。

雖然香農(nóng)的信息概念比以往的認(rèn)識有了巨大的進(jìn)步，但仍存在局限性，這一概念同樣沒有包含信息的內(nèi)容和價值，只考慮了隨機(jī)型的不定性，沒有從根本上回答"信息是什么"的問題。

事實上，香農(nóng)最初的動機(jī)是把電話中的噪音除掉，他給出通信速率的上限，這個結(jié)論首先用在電話上，后來用到光纖，截止2013又用在無線通信上。我們能夠清晰地打越洋電話或衛(wèi)星電話，都與通信信道質(zhì)量的改善密切相關(guān)。

克勞德·香農(nóng)在公眾中并不特別知名，但他是使我們的世界能進(jìn)行即時通信的少數(shù)科學(xué)家和思想家之一。他是美國科學(xué)院院士、美國工程院院士、英國皇家學(xué)會會員、美國哲學(xué)學(xué)會會員。他獲得過許多榮譽(yù)和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學(xué)獎?wù)?、IEEE的榮譽(yù)獎?wù)隆?978年Jaquard獎、1983年Fritz獎、1985年基礎(chǔ)科學(xué)京都獎。他接受的榮譽(yù)學(xué)位不勝枚舉，不再贅述。

我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信息熵的概念；另一是符號邏輯和開關(guān)理論。我們更應(yīng)該學(xué)習(xí)他好奇心強(qiáng)、重視實踐、永不滿足的科學(xué)精神，這是他獲得成功的重要經(jīng)驗。

榮譽(yù)

美國Alfred Noble協(xié)會美國工程師獎 1940年

Morris Liebmann 無線電工程師協(xié)會Memorial獎?wù)?1949年

耶魯大學(xué) （首席科學(xué)家） 1954年

Stuart Ballantine弗蘭克林協(xié)會獎?wù)?1955年

研究合作獎 1956年

密歇根大學(xué)，榮譽(yù)博士 1961年

萊斯大學(xué) 榮譽(yù)獎?wù)?1962年

普林斯頓大學(xué) 榮譽(yù)博士 1962年

Marvin J. Kelly Award 1962年

愛丁堡大學(xué) 榮譽(yù)博士 1964年

匹茲堡大學(xué) 榮譽(yù)博士 1964年

電子電氣工程師協(xié)會 榮譽(yù)獎?wù)?1966年

美國國家科學(xué)獎?wù)?1966年 由前總統(tǒng)Lyndon B. 約翰遜頒發(fā)

Golden Plate Award 1967年

美國西北大學(xué) 榮譽(yù)博士 1970年

Harvey Prize，the Technion of Haifa 以色列 1972年

牛津大學(xué) 榮譽(yù)博士 1978年

Joseph Jacquard獎 1978年

Harold Pender獎 1978年

東英格倫大學(xué) 榮譽(yù)博士 1982年

卡內(nèi)基梅隆大學(xué) 榮譽(yù)博士 1984年

美國聲頻技術(shù)協(xié)會 金獎 1985年

Kyoto Prize 1985年

塔夫斯大學(xué) 榮譽(yù)博士 1987年

賓西法尼亞大學(xué) 榮譽(yù)博士 1991年

Eduard Rhein Prize 1991年

?

香農(nóng)定理
?

香農(nóng)定理給出了信道信息傳送速率的上限（比特每秒）和信道信噪比及帶寬的關(guān)系。香農(nóng)定理可以解釋現(xiàn)代各種無線制式由于帶寬不同，所支持的單載波最大吞吐量的不同。

在有隨機(jī)熱噪聲的信道上傳輸數(shù)據(jù)信號時，信道容量Rmax與信道帶寬W，信噪比S/N關(guān)系為：Rmax=W*log2(1+S/N)。注意這里的log2是以2為底的對數(shù)。

簡介

類比：城市道路上的汽車的車速（業(yè)務(wù)速率）和什么有關(guān)系？

除了和自己車的動力有關(guān)之外，主要還受限于道路的寬度（帶寬）和車輛多少、紅燈疏密等其他干擾因素（信噪比），如圖1所示。
?

俗話說：“有線的資源是無限的，而無線的資源卻是有限的?！睙o線信道并不是可以任意增加傳送信息的速率，它受其固有規(guī)律的制約，就像城市道路上的車一樣不能想開多快就開多快，還受到道路寬度、其他車輛數(shù)量等因素影響。這個規(guī)律就是香農(nóng)定理。

香農(nóng)定理是所有通信制式最基本的原理，它描述了有限帶寬、有隨機(jī)熱噪聲信道的最大傳輸速率與信道帶寬、信號噪聲功率比之間的關(guān)系。其用公式可表示為：

其中：C是信道支持的最大速度或者叫信道容量；B是信道的帶寬；S是平均信號功率；N是平均噪聲功率；S/N即信噪比。

香農(nóng)定理給出了信道信息傳送速率的上限（比特每秒）和信道信噪比及帶寬的關(guān)系。香農(nóng)定理可以解釋現(xiàn)代各種無線制式由于帶寬不同，所支持的單載波最大吞吐量的不同。

理解香農(nóng)公式須注意以下幾點：

（1）信道容量由帶寬及信噪比決定，增大帶寬、提高信噪比可以增大信道容量；

（2）在要求的信道容量一定的情況下，提高信噪比可以降低帶寬的需求，增加帶寬可以降低信噪比的需求；

（3）香農(nóng)公式給出了信道容量的極限，也就是說，實際無線制式中單信道容量不可能超過該極限，只能盡量接近該極限。在卷積編碼條件下，實際信道容量離香農(nóng)極限還差3dB；在Turbo編碼的條件下，接近了香農(nóng)極限。

（4）LTE中多天線技術(shù)沒有突破香農(nóng)公式，而是相當(dāng)于多個單信道的組合。

香農(nóng)定理可以變換一下形式成為

這個C/B就是單位帶寬的容量（業(yè)務(wù)速率），就是頻譜利用率的概念，也就是說香農(nóng)定理給出了一定信噪比下頻率利用率的極限。

在有隨機(jī)熱噪聲的信道上傳輸數(shù)據(jù)信號時，數(shù)據(jù)傳輸率Rmax與信道帶寬W，信噪比S/N關(guān)系為：Rmax=W*log2(1+S/N)。注意這里的log2是以2為底的對數(shù)，下同。

在信號處理和信息理論的相關(guān)領(lǐng)域中，通過研究信號在經(jīng)過一段距離后如何衰減以及一個給定信號能加載多少數(shù)據(jù)后得到了一個著名的公式，叫做香農(nóng)（Shannon）定理。它以比特每秒（bps）的形式給出一個鏈路速度的上限，表示為鏈路信噪比的一個函數(shù)，鏈路信噪比用分貝（dB）衡量。因此我們可以用香農(nóng)定理來檢測電話線的數(shù)據(jù)速率。

香農(nóng)定理由如下的公式給出: C=W*log2*(1+S/N) 其中C是可得到的鏈路速度，W是鏈路的帶寬，S是平均信號功率,N是平均噪聲功率，信噪比（S/N）通常用分貝（dB）表示，分貝數(shù)=10×log10（S/N）。

通常音頻電話連接支持的頻率范圍為300Hz到3300Hz，則B=3300Hz－300Hz=3000Hz，而一般鏈路典型的信噪比是30dB，即S/N=1000，因此我們有C=3000×log2(1+ 1000)，近似等于30Kbps，是28.8Kbps調(diào)制解調(diào)器的極限，因此如果電話網(wǎng)絡(luò)的信噪比沒有改善或不使用壓縮方法，調(diào)制解調(diào)器將達(dá)不到更高的速率。

應(yīng)用

香農(nóng)定理用來求信道的最大傳輸速率，即信道容量，當(dāng)通過信道的信號速率超過香農(nóng)定理的信道容量時，誤碼率顯著提高，信息質(zhì)量嚴(yán)重下降。需要指出的是這里的信道容量只是理論上可以達(dá)到的極限，實際如何達(dá)到，該定理不能說明。

? ? ? ?

香農(nóng)采樣定理

香農(nóng)采樣定理，又稱奈奎斯特采樣定理，是信息論，特別是通訊與信號處理學(xué)科中的一個重要基本結(jié)論。1924年奈奎斯特(Nyquist)就推導(dǎo)出在理想低通信道的最高大碼元傳輸速率的公式：理想低通信道的最高大碼元傳輸速率B=2W，信息傳輸

定義

為了不失真地恢復(fù)模擬信號，采樣頻率應(yīng)該不小于模擬信號頻譜中最高頻率的2倍?！ s≥2f max

概念

采樣定理，又稱香農(nóng)采樣定律、奈奎斯特采樣定律，是信息論，特別是通訊與信號處理學(xué)科中的一個重要基本結(jié)論.E. T. Whittaker（1915年發(fā)表的統(tǒng)計理論），克勞德·香農(nóng) 與Harry Nyquist都對它作出了重要貢獻(xiàn)。另外，V. A. Kotelnikov 也對這個定理做了重要貢獻(xiàn)。

采樣是將一個信號（即時間或空間上的連續(xù)函數(shù)）轉(zhuǎn)換成一個數(shù)值序列（即時間或空間上的離散函數(shù)）。

采樣得到的離散信號經(jīng)保持器后，得到的是階梯信號，即具有零階保持器的特性。

如果信號是帶限的，并且采樣頻率高于信號最高頻率的一倍，那么，原來的連續(xù)信號可以從采樣樣本中完全重建出來。

帶限信號變換的快慢受到它的最高頻率分量的限制，也就是說它的離散時刻采樣表現(xiàn)信號細(xì)節(jié)的能力是非常有限的。采樣定理是指，如果信號帶寬小于奈奎斯特頻率（即采樣頻率的二分之一），那么此時這些離散的采樣點能夠完全表示原信號。高于或處于奈奎斯特頻率的頻率分量會導(dǎo)致混疊現(xiàn)象。大多數(shù)應(yīng)用都要求避免混疊，混疊問題的嚴(yán)重程度與這些混疊頻率分量的相對強(qiáng)度有關(guān)。

采樣過程所應(yīng)遵循的規(guī)律，又稱取樣定理、抽樣定理。采樣定理說明采樣頻率與信號頻譜之間的關(guān)系，是連續(xù)信號離散化的基本依據(jù)。采樣定理是1928年由美國電信工程師H.奈奎斯特首先提出來的，因此稱為奈奎斯特采樣定理。1933年由蘇聯(lián)工程師科捷利尼科夫首次用公式嚴(yán)格地表述這一定理，因此在蘇聯(lián)文獻(xiàn)中稱為科捷利尼科夫采樣定理。1948年信息論的創(chuàng)始人C.E.香農(nóng)對這一定理加以明確地說明并正式作為定理引用，因此在許多文獻(xiàn)中又稱為香農(nóng)采樣定理。采樣定理有許多表述形式，但最基本的表述方式是時域采樣定理和頻域采樣定理。采樣定理在數(shù)字式遙測系統(tǒng)、時分制遙測系統(tǒng)、信息處理、數(shù)字通信和采樣控制理論等領(lǐng)域得到廣泛的應(yīng)用。

時域采樣定理

頻帶為F的連續(xù)信號f(t)可用一系列離散的采樣值f(t1),f(t1±Δt)，f(t1±2Δt)，...來表示,只要這些采樣點的時間間隔Δt≤1/2F，便可根據(jù)各采樣值完全恢復(fù)原來的信號f(t)。

時域采樣定理的另一種表述方式是：當(dāng)時間信號函數(shù)f(t)的最高頻率分量為fM時,f(t)的值可由一系列采樣間隔小于或等于1/2fM的采樣值來確定,即采樣點的重復(fù)頻率f≥2fM。圖為模擬信號和采樣樣本的示意圖。

時域采樣定理是采樣誤差理論、隨機(jī)變量采樣理論和多變量采樣理論的基礎(chǔ)。

頻域采樣定理　對于時間上受限制的連續(xù)信號f(t)（即當(dāng)│t│>T時,f(t)=0,這里T=T2-T1是信號的持續(xù)時間），若其頻譜為F（ω）,則可在頻域上用一系列離散的采樣值來表示,只要這些采樣點的頻率間隔ω≦π / tm 。

采樣簡介

從信號處理的角度來看，此采樣定理描述了兩個過程：其一是采樣，這一過程將連續(xù)時間信號轉(zhuǎn)換為離散時間信號；其二是信號的重建，這一過程離散信號還原成連續(xù)信號。

連續(xù)信號在時間（或空間）上以某種方式變化著，而采樣過程則是在時間（或空間）上，以T為單位間隔來測量連續(xù)信號的值。T稱為采樣間隔。在實際中，如果信號是時間的函數(shù)，通常他們的采樣間隔都很小，一般在毫秒、微秒的量級。采樣過程產(chǎn)生一系列的數(shù)字，稱為樣本。樣本代表了原來地信號。每一個樣本都對應(yīng)著測量這一樣本的特定時間點，而采樣間隔的倒數(shù)，1/T即為采樣頻率，fs，其單位為樣本/秒，即赫茲(hertz)。

信號的重建是對樣本進(jìn)行插值的過程，即，從離散的樣本x[n]中，用數(shù)學(xué)的方法確定連續(xù)信號x(t)。

從采樣定理中，我們可以得出以下結(jié)論：

如果已知信號的最高頻率fH，采樣定理給出了保證完全重建信號的最低采樣頻率。這一最低采樣頻率稱為臨界頻率或奈奎斯特采樣率，通常表示為fN。

相反，如果已知采樣頻率，采樣定理給出了保證完全重建信號所允許的最高信號頻率。

以上兩種情況都說明，被采樣的信號必須是帶限的，即信號中高于某一給定值的頻率成分必須是零，或至少非常接近于零，這樣在重建信號中這些頻率成分的影響可忽略不計。在第一種情況下，被采樣信號的頻率成分已知，比如聲音信號，由人類發(fā)出的聲音信號中，頻率超過5 kHz的成分通常非常小，因此以10 kHz的頻率來采樣這樣的音頻信號就足夠了。在第二種情況下，我們得假設(shè)信號中頻率高于采樣頻率一半的頻率成分可忽略不計。這通常是用一個低通濾波器來實現(xiàn)的。

混疊

如果不能滿足上述采樣條件，采樣后信號的頻率就會重疊，即高于采樣頻率一半的頻率成分將被重建成低于采樣頻率一半的信號。這種頻譜的重疊導(dǎo)致的失真稱為混疊，而重建出來的信號稱為原信號的混疊替身，因為這兩個信號有同樣的樣本值。

一個頻率正好是采樣頻率一半的弦波信號，通常會混疊成另一相同頻率的波弦信號，但它的相位和幅度改變了。以下兩種措施可避免混疊的發(fā)生：

1. 提高采樣頻率，使之達(dá)到最高信號頻率的兩倍以上；

2. 引入低通濾波器或提高低通濾波器的參數(shù)；該低通濾波器通常稱為抗混疊濾波器

抗混疊濾波器可限制信號的帶寬，使之滿足采樣定理的條件。從理論上來說，這是可行的，但是在實際情況中是不可能做到的。因為濾波器不可能完全濾除奈奎斯特頻率之上的信號，所以，采樣定理要求的帶寬之外總有一些“小的”能量。不過抗混疊濾波器可使這些能量足夠小，以至可忽略不計。

減采樣

當(dāng)一個信號被減采樣時，必須滿足采樣定理以避免混疊。為了滿足采樣定理的要求，信號在進(jìn)行減采樣操作前，必須通過一個具有適當(dāng)截止頻率的低通濾波器。這個用于避免混疊的低通濾波器，稱為抗混疊濾波器。

定理

為了不失真地恢復(fù)模擬信號，采樣頻率應(yīng)該大于模擬信號頻譜中最高頻率的2倍。

Fs>2Fmax

采樣率越高，稍后恢復(fù)出的波形就越接近原信號，但是對系統(tǒng)的要求就更高，轉(zhuǎn)換電路必須具有更快的轉(zhuǎn)換速度。

信號重構(gòu)

任何信號都可以看做是不同頻率的正弦（余弦）信號的疊加，因此如果知道所有組成這一信號的正（余弦）信號的幅值、頻率和相角，就可以重構(gòu)原信號。由于信號測量、分解及時頻變換的過程中存在誤差，因此不能100%地重構(gòu)原信號，重構(gòu)的信號只能保證原信號誤差在容許范圍內(nèi)。

香農(nóng)極限

信道的香農(nóng)極限（或稱香農(nóng)容量）指的是在會隨機(jī)發(fā)生誤碼的信道上進(jìn)行無差錯傳輸?shù)淖畲髠鬏斔俾?。它的存在是香農(nóng)定理在帶寬有限的信道上的一個結(jié)論。

簡介

信道的香農(nóng)極限（或稱香農(nóng)容量）指的是在會隨機(jī)發(fā)生誤碼的信道上進(jìn)行無差錯傳輸?shù)淖畲髠鬏斔俾?。它的存在是香農(nóng)定理在帶寬有限的信道上的一個結(jié)論。

有噪信道編碼定理

在信息論里，有噪信道編碼定理指出，盡管噪聲會干擾通信信道，但還是有可能在信息傳輸速率小于信道容量的前提下，以任意低的錯誤概率傳送數(shù)據(jù)信息。這個令人驚訝的結(jié)果，有時候被稱為信息原理基本定理，也叫做香農(nóng)-哈特利定理或香農(nóng)定理，是由克勞德·艾爾伍德·香農(nóng)于1948年首次提出。

通信信道的信道容量或香農(nóng)限制是指在指定的噪音標(biāo)準(zhǔn)下，信道理論上的最大傳輸率。

根據(jù)香農(nóng)1948年的陳述，本定理描述了在不同級別的噪音干擾和數(shù)據(jù)損壞情況下，錯誤監(jiān)測和糾正可能達(dá)到的最高效率。定理沒有指出如何構(gòu)造錯誤監(jiān)測的模型，只是告訴大家有可能達(dá)到的最佳效果。香農(nóng)定理可以廣泛應(yīng)用在通信和數(shù)據(jù)存儲領(lǐng)域。本定理是現(xiàn)代信息論的基礎(chǔ)理論。香農(nóng)只是提出了證明的大概提綱。1954年，艾米爾·范斯坦第一個提出了嚴(yán)密的論證。

香農(nóng)定理假設(shè)一個有噪音的信道，信道容量為C，信息以速度R傳送，如果

那么就存在一種編碼技術(shù)使接收端收到的錯誤達(dá)到任意小的數(shù)值。這意味著理論上，有可能無錯誤地傳送信息直到達(dá)到速度限制C。

反過來同樣重要。如果

那么想達(dá)到任意小的錯誤率是不可能實現(xiàn)的。因此，在傳送速度超過信道容量的時候，可靠傳輸信息是不能被保證的。定理并沒有指出在什么特殊情況下速度和容量相等。

簡單的流程如"重復(fù)發(fā)送數(shù)據(jù)3遍，用一個投票系統(tǒng)在數(shù)據(jù)不一樣的時候選擇3個里面相同的那兩個的值"是低效的錯誤糾正的方式，不能保證數(shù)據(jù)塊能完全沒有錯誤地傳送。先進(jìn)一些的技術(shù)如里德-所羅門碼編碼技術(shù)和更現(xiàn)代一些的Turbo碼、LDPC碼等編碼技術(shù)更逼近香農(nóng)限制，但是計算復(fù)雜度很高。[1]?

理想加白噪聲情況下香農(nóng)限

考慮數(shù)據(jù)率、噪聲以及誤碼率的關(guān)系。噪聲的存在會破壞一個或多個比特。假如數(shù)據(jù)率增加，那么這些比特會變短，因而給定的噪聲模式會影響更多個比特。于是，給定一個噪聲值，數(shù)據(jù)率越高則誤碼率也越高。所有的這些概念可以通過香農(nóng)公式清楚聯(lián)系在一起，此公式由數(shù)學(xué)家克勞德·艾爾伍德·香農(nóng)(Claude Elwood Shannon，1916-2001）推導(dǎo)得出的。

如剛才所描繪的，數(shù)據(jù)率越高，無用的噪聲會帶來更嚴(yán)重的破壞。在噪聲存在的情況下，給點一個噪聲值，我們能夠通過提高信號強(qiáng)度來提高正確接收數(shù)據(jù)的能力。在這一推導(dǎo)過程中涉及的主要參數(shù)是信噪比(SNR或S/N)，它是指在傳輸過程中某一點的信號功率與噪聲包含功率之比。通常信噪比在接收器處測量，因為正是在這里我們試圖處理信號并消除無用噪聲。為了使用方便，這個比率通常用分貝表示

它表示有用信號超出噪聲值的量，以分貝為單位。SNR的值越高，表示信號的質(zhì)量越好，所需中間轉(zhuǎn)發(fā)器的數(shù)量越少。

信噪比對數(shù)字?jǐn)?shù)據(jù)傳輸十分重要，因為它限定了一個可達(dá)到的數(shù)據(jù)率上限。香農(nóng)得出的結(jié)果是，用bps來表示的信道的最大容量遵從等式

C是以比特/秒為單位的信道容量，凈比特率的理論上限（信息速率，有時表示為I），不包括糾錯碼;

B是帶寬的信道的在赫茲（通帶中的帶通信號的情況下的帶寬）;

S是以瓦（或伏平方）測量的帶寬上的平均接收信號功率（在載波調(diào)制通帶傳輸?shù)那闆r下，通常表示為C）;

N是噪聲和帶寬上的干擾的平均功率，以瓦（或伏特平方）為單位測量;

S / N是通信信號對接收機(jī)噪聲和干擾的信噪比（SNR）或載波噪聲比（CNR）（表示為線性功率比，而不是對數(shù)分貝） 。

香農(nóng)公式顯示出理論上可達(dá)到的最大值。然而在實際應(yīng)用中能夠達(dá)到的速率要低得多。其中一個原因是該公式假定噪聲為白噪聲(熱噪聲)，既沒有考慮到?jīng)_激噪聲，也沒有考慮衰減和時延失真。即使在理想白噪聲情況下，因為編碼的原因(如編碼長度和復(fù)雜性等)，目前的技術(shù)仍然無法達(dá)到香農(nóng)容量。

香農(nóng)公式中提到的容量為無誤碼容量。經(jīng)香農(nóng)證明，假如信道上的實際信息率比無誤碼容量低，從理論上來說，通過適當(dāng)?shù)男畔⒕幋a，信道就有可能達(dá)到無誤碼容量。遺憾的是，香農(nóng)的理論并沒有給出如何找到這種編碼的方法，但提供了一個用來衡量實際通信機(jī)制性能的計算標(biāo)準(zhǔn)。

通過香農(nóng)公式我們可以考慮如何將信道容量上限提高。假如噪聲值給定，那么似乎通過增加信號強(qiáng)度或帶寬就能提高數(shù)據(jù)率；但是，如果信號強(qiáng)度增加了，則系統(tǒng)的非線性程度也會提高，這就導(dǎo)致互調(diào)噪聲的增加。還有一點需要注意，由于假定噪聲是白噪聲，那么帶寬越寬，因此系統(tǒng)容納的噪聲也就越多，因此隨著B的增加SNR反而降低了。

當(dāng)

，或

時，

。

但是當(dāng)

時，

將趨向何值？

令

，上式可以改寫為：
　　

利用關(guān)系式：
　　

上式變?yōu)椋?/p>

上式表明，當(dāng)給定

時，若帶寬B趨于無窮大，信道容量不會趨于無限大，而只是

的1.44倍。這是

因為當(dāng)帶寬B增大時，噪聲功率也隨之增大。

和帶寬B的關(guān)系曲線：

上式還可以改寫成如下形式：

式中

——每比特能量

——每比特持續(xù)時間

上式表明，為了得到給定的信道容量

，可以增大帶寬B以換取

的減??；另一方面，在接收功率受 限的情況下，由于

，可以增大

以減小S來保持

和

不變。

香農(nóng)哈特利定律

在信息論中，香農(nóng)極限告訴在該信息可以通過一個特定帶寬的存在特定噪聲的通信信道數(shù)據(jù)被發(fā)送的最大速率。這是噪聲信道編碼定理在受到高斯噪聲的連續(xù)時間、模擬通信信道的原型情況下的應(yīng)用。該定理建立了對這種通信鏈路的信道香農(nóng)限，限制了在存在噪聲干擾的情況下可以以指定帶寬發(fā)送的每個時間單位的無錯誤信息的最大量，假設(shè)信號功率是有界的，并且高斯噪聲過程的特征在于已知功率或功率譜密度。定理以Claude Shannon和Ralph Hartley命名。

香農(nóng) - 哈特利定理陳述了通道容量C，這意味著可以使用平均接收信號功率S通過經(jīng)過加性白高斯的模擬通信通道以任意低的錯誤率傳送的數(shù)據(jù)的信息速率的理論上的最上限電源噪聲N：

奈奎斯特率

在1927年，奈奎斯特認(rèn)為每單位時間可以通過電報通道的獨立脈沖數(shù)量被限制在通道帶寬的兩倍。在符號中，

其中

是脈沖頻率（以每秒脈沖數(shù)計），B是帶寬（赫茲）。數(shù)量2B后來被稱為奈奎斯特速率，并以每秒2個B脈沖的限制脈沖速率以奈奎斯特率發(fā)送信號。奈奎斯特在1928年發(fā)表他的研究成果，作為他的論文“電訊傳播理論中的某些話題”的一部分。

哈特利定律

1928年，哈特利制定了一種量化信息和線路速率（也稱為數(shù)據(jù)信令速率 R比特每秒）的方法。這種方法，后來被稱為哈特利定律，成為香農(nóng)更加復(fù)雜的通道容量概念的重要前身。

哈特利認(rèn)為，可以通過通信信道可靠地發(fā)送和接收的可區(qū)分脈沖電平的最大數(shù)量受到信號幅度的動態(tài)范圍和接收機(jī)能夠區(qū)分振幅電平的精度的限制。具體地說，如果發(fā)送信號的幅度被限制在[ - A ... + A ]伏的范圍內(nèi)，并且接收機(jī)的精度為± ΔV伏特，則不同脈沖M的最大數(shù)量由

通過以比特/脈沖中的每個脈沖獲取信息作為可以發(fā)送的不同消息M的數(shù)量的基2-對數(shù)，Hartley構(gòu)建了線速率R的度量：

,

其中

是脈沖速率，也稱為符號速率，以符號/秒或波特率表示。

然后，哈特利將上述量化與奈奎斯特的觀察結(jié)合起來，可以通過帶寬B 赫茲通道的獨立脈沖數(shù)為每秒2B脈沖，以達(dá)到其可實現(xiàn)線速率的定量測量。

哈特利定律有時引述只是模擬帶寬，B，以Hz為單位，和今天被稱為數(shù)字帶寬的R ，以比特/秒為單位之間的比例。其他時候，以這種更定量的形式引用，作為每秒可用的R比特率：

哈特利沒有確切地知道數(shù)字M應(yīng)如何依賴于信道的噪聲統(tǒng)計，或者即使單個符號脈沖不能可靠地區(qū)分為M個等級，通信如何可靠地生成; 利用高斯噪聲統(tǒng)計，系統(tǒng)設(shè)計人員必須選擇非常保守的M值來實現(xiàn)低錯誤率。

哈特利的速率結(jié)果可以被看作是一個無差錯的能力中號的2個進(jìn)制信道B每秒符號。有些作者將其稱為容量。但是這樣一個無誤的信道是一個理想化的方式，如果選擇M小到足以使噪聲信道幾乎無誤，結(jié)果必然小于帶寬B的噪聲信道的香農(nóng)容量，這是隨后的香農(nóng)哈特利定律結(jié)果后來。

哈特利定律與香農(nóng)限的關(guān)系

將信道容量與哈特利定律的信息比率進(jìn)行比較，我們可以找到有效數(shù)量的可區(qū)分級別M：

平方根有效地將功率比轉(zhuǎn)換回電壓比，因此電平數(shù)量幾乎與信號RMS幅度與噪聲標(biāo)準(zhǔn)偏差之比成正比。香農(nóng)限與哈特利定律之間形式的相似性不應(yīng)該被解釋為意味著M脈沖水平可以毫無混亂地被發(fā)送; 需要更多的級別，以允許冗余編碼和糾錯，但是可以用編碼處理的凈數(shù)據(jù)速率等同于使用哈特利定律中的M。

可替代形式

頻率依賴（彩色噪聲）情況

在上面的簡單版本中，信號和噪聲完全不相關(guān)，在這種情況下，S + N是接收信號和噪聲的總功率。通過對多個窄獨立的高斯信道并行處理信道，獲得加性噪聲不是白色（或S / N在帶寬上的頻率不恒定）的情況下的上述等式的推廣，

C是以比特/秒為單位的信道容量 ;

B是信道的帶寬，單位為Hz;

S（f）是信號功率譜

N（f）是噪聲功率譜

f是以Hz為單位的頻率。

注意：該定理僅適用于高斯穩(wěn)定過程噪聲。該公式引入頻率相關(guān)噪聲的方法不能描述所有的連續(xù)時間噪聲過程。例如，考慮噪聲過程，其包括在任何時間點加上振幅為1或-1的隨機(jī)波，以及將這樣的波加到源信號上的信道。這樣的波的頻率分量是高度依賴的。雖然這樣的噪聲可能具有高功率，但是如果底層噪聲是每個頻帶中的獨立噪聲之和，則傳輸比所需要的功率少得多的連續(xù)信號是相當(dāng)容易的。

近似

對于大或小且恒定的信噪比，容量公式(香農(nóng)公式)可以近似為：

如果S / N >> 1，那么

這里

2. 同理，如果S / N <<1，那么

?

在這種低SNR近似中，如果噪聲為白色，則光譜密度的容量與帶寬無關(guān)

瓦特/赫茲，在這種情況下，總 噪聲功率是

。

非靜止記憶信道的信道容量

編輯

假設(shè)通道是無記憶的，但是其轉(zhuǎn)換概率隨時間而變化，以發(fā)射機(jī)和接收機(jī)已知的方式。然后通道容量由

在每個相應(yīng)通道的容量達(dá)到分配的情況下達(dá)到最大值。也就是，

這里

代表第i個信道的容量。[1]
?

各種編碼對于接近香農(nóng)限的程度

諸如“發(fā)送消息3次并且如果副本不同則使用最佳2投票方案”這樣的簡單方案是無效率的糾錯方法，不能夠漸近地保證一個數(shù)據(jù)塊可以毫無差錯地傳達(dá)。諸如Reed-Solomon碼的高級技術(shù)，以及最近的低密度奇偶校驗（LDPC）碼和turbo碼更接近于達(dá)到理論香農(nóng)限制，但是以高的計算復(fù)雜度為代價。使用這些高效率的代碼和當(dāng)今數(shù)字信號處理器的計算能力，現(xiàn)在可以達(dá)到非常接近香農(nóng)限額。實際上，已經(jīng)表明，LDPC碼可以達(dá)到香農(nóng)極限的0.0045dB（對于二進(jìn)制AWGN信道，具有非常長的塊長度）。

土耳其畢爾肯大學(xué)教授Erdal Arikan于2009年正式提出的新型編碼方案——極化碼（polar code），是目前唯一一個在理論上已經(jīng)被證明可以到達(dá)香農(nóng)限的方案。

編輯：黃飛

?