8
| 本文作者： 溫曉樺 | 2016-04-29 13:24 |
克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。
香農(nóng)是美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人。1948年，香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》文章，提出了信息熵的概念，并創(chuàng)建了信息論。這篇文章奠定了香農(nóng)“信息論之父”的地位。后來，香農(nóng)在1949年繼續(xù)發(fā)表了《噪聲下的通信》。
幾十年來，人類科技在數(shù)字化、智能化、網(wǎng)絡(luò)化等的推動(dòng)下經(jīng)歷了一波又一波通信、信息革命。數(shù)十年之后，在信息流、物質(zhì)流的社會(huì)中，香農(nóng)的論著依然閃爍著智慧之光，并將照耀人類社會(huì)今后的數(shù)個(gè)世紀(jì)。對(duì)此，雷鋒網(wǎng)咨詢了相關(guān)專業(yè)人士。
是否有人曾質(zhì)疑過，隨著科技的不斷發(fā)展，香農(nóng)的信息論有可能無法滿足現(xiàn)實(shí)的要求？答案是否定的。根源上講，信息流、物質(zhì)流組成了世界。只要世界的根源還是信息與物質(zhì)，香農(nóng)揭示的依舊是一個(gè)公理。即便發(fā)展到人工智能的今天，信息依然是一切的基礎(chǔ)。業(yè)界來說，《通信的數(shù)學(xué)理論》是一篇20世紀(jì)少有的、對(duì)人類發(fā)展產(chǎn)生深遠(yuǎn)影響的科學(xué)論著，可與牛頓力學(xué)相媲美。即便百年之后，我們依舊享用著這個(gè)理論來探索未知的世界。
20世紀(jì)60年代末開始了通信與計(jì)算機(jī)相結(jié)合，通信網(wǎng)迅速發(fā)展，人類開始向信息化社會(huì)邁進(jìn)。這就要求信息作業(yè)的標(biāo)準(zhǔn)化，加密算法當(dāng)然也不能例外。標(biāo)準(zhǔn)化對(duì)于技術(shù)發(fā)展、降低成本、推廣使用有重要意義。
我們都知道，美國(guó)FBI提出的數(shù)據(jù)加密標(biāo)準(zhǔn)DES，以及最新圖靈獎(jiǎng)得主斯坦福大學(xué)密碼學(xué)和網(wǎng)絡(luò)安全技術(shù)專家惠特菲爾德·迪菲（Whitfield Diffie）和馬丁·赫爾曼（Martin Hellman）提出的公鑰加密系統(tǒng)是現(xiàn)代密碼學(xué)的標(biāo)志，是現(xiàn)代通信的基礎(chǔ)加密技術(shù)。不過，你也許不知道，這兩種標(biāo)準(zhǔn)或體制都以香農(nóng)的信息論為基本指導(dǎo)思想。
1949年，香農(nóng)公開發(fā)表《保密系統(tǒng)的通信理論》一文，開辟了用信息論來研究密碼學(xué)的新思路。這篇文章基于的理論是香農(nóng)在1945年為貝爾實(shí)驗(yàn)室所完成的一篇報(bào)告《A Mathematical Theory of Cryptography》。論文發(fā)表后，香農(nóng)被美國(guó)政府聘為政府密碼事務(wù)顧問。
DES全稱為Data Encryption Standard，即數(shù)據(jù)加密標(biāo)準(zhǔn)，是一種使用密鑰加密的算法。DES設(shè)計(jì)中使用的兩個(gè)分組密碼設(shè)計(jì)原則：混淆（confusion）和擴(kuò)散(diffusion)，其目的是抗擊敵手對(duì)密碼系統(tǒng)的統(tǒng)計(jì)分析。這就很好地提現(xiàn)了香農(nóng)1949年的論文中所提出的設(shè)計(jì)強(qiáng)密碼思想：
組合（Combine）概念：由簡(jiǎn)單易于實(shí)現(xiàn)的密碼系統(tǒng)進(jìn)行組合，構(gòu)造較復(fù)雜的、密鑰量較大的密碼系統(tǒng)。Shannon曾給出兩種組合方式，即加權(quán)和法和乘積法。
擴(kuò)散（Diffusion）概念：將每一位明文及密鑰盡可能迅速地散布到較多位密文數(shù)字中去，以便隱蔽明文的統(tǒng)計(jì)特性。
混淆（Confusion）概念：使明文和密文、密鑰和密文之間的統(tǒng)計(jì)相關(guān)性極小化，使統(tǒng)計(jì)分析更為困難。
信息論是研究和評(píng)估保密和認(rèn)證系統(tǒng)的安全的重要工具，同時(shí)熵和信息量也是研究和評(píng)估隱匿系統(tǒng)重要工具。
Shannon曾用揉面團(tuán)來形象地比喻“擴(kuò)散”和“混淆”的作用，密碼算法設(shè)計(jì)中要巧妙地運(yùn)用這兩個(gè)概念。與揉面團(tuán)不同的是，首先密碼變換必須是可逆的，但并非任何“混淆”都是可逆的；二是密碼變換和逆變換應(yīng)當(dāng)簡(jiǎn)單易于實(shí)現(xiàn)。分組密碼的多次迭代就是一種前述的“乘積”組合，它有助于快速實(shí)現(xiàn)“擴(kuò)散”和“混淆”。
可以說，分組密碼設(shè)計(jì)中將輸入分段處理、非線性變換，加上左、右交換和在密鑰控制下的多次迭代，都在香農(nóng)構(gòu)造密碼的思想下指導(dǎo)進(jìn)行。
香農(nóng)在1949年指出：“好密碼的設(shè)計(jì)問題，本質(zhì)上是尋求一個(gè)困難問題的解，相對(duì)于某種其它條件，我們可以構(gòu)造密碼，使其在過程中的某點(diǎn)上等價(jià)于解某個(gè)已知數(shù)學(xué)難題。”在此影響下，迪菲和赫爾曼提出了公鑰加密系統(tǒng)。
迪菲和赫爾曼提出的公鑰加密系統(tǒng)，其中的RSA、Rabin、背包、ElGamal、ECC、NTRU、多變量公鑰等所有公鑰算法都是基于某個(gè)數(shù)學(xué)問題求解的困難性。
迪菲和赫爾曼的可證明安全理論就是在于證明是否可以將所設(shè)計(jì)的密碼算法歸約為求解某個(gè)已知數(shù)學(xué)難題。
破譯密碼的困難性，所需的工作量，即時(shí)間復(fù)雜性和空間復(fù)雜性，與數(shù)學(xué)問題求解的困難性密切相關(guān)。計(jì)算機(jī)科學(xué)的一個(gè)新分支——計(jì)算復(fù)雜性理論與密碼需的研究密切關(guān)聯(lián)起來了。
網(wǎng)絡(luò)化社會(huì)的今天，我們必定離不開電子計(jì)算機(jī)和通信。下面我們用通俗易懂的方式來講一下，我們今天孜孜以求的帶寬、WiFi、藍(lán)牙、GPS等與香農(nóng)的關(guān)系吧：
根據(jù)香農(nóng)（C.E.Shannon）在信息論研究中總結(jié)出的信道容量公式，即香農(nóng)公式：
C=W×Log2（1+S/N）
式中：C——信息的傳輸速率，S——有用信號(hào)功率，W——頻帶寬度，N——噪聲功率，也就是說：
為了提高信息的傳輸速率C，可以從兩種途徑實(shí)現(xiàn)，既加大帶寬W或提高信噪比S/N。換句話說，當(dāng)信號(hào)的傳輸速率C一定時(shí)，信號(hào)帶寬W和信噪比S/N是可以互換的，即增加信號(hào)帶寬可以降低對(duì)信噪比的要求，當(dāng)帶寬增加到一定程度，允許信噪比進(jìn)一步降低，有用信號(hào)功率接近噪聲功率甚至淹沒在噪聲之下也是可能的。擴(kuò)頻通信就是用寬帶傳輸技術(shù)來換取信噪比上的好處。
擴(kuò)頻的出發(fā)點(diǎn)是加密，后來主要是用來減低干擾，同樣是香農(nóng)公式里面提到的另一個(gè)因子信噪比，也可以得到高帶寬。簡(jiǎn)單來說，所謂降噪就是，帶寬越寬，抗干擾能力越強(qiáng)。但是，帶寬擴(kuò)展上去了，信號(hào)功率就降低了，不符合市場(chǎng)經(jīng)濟(jì)。所以現(xiàn)代通信不是要無限擴(kuò)大帶寬，而是要找平衡點(diǎn)。基于這個(gè)思想，我們還在尋找這個(gè)平衡點(diǎn)。
如果前面說的還是過去和當(dāng)下的影響，那么接下來就不得不佩服香農(nóng)的未來預(yù)示能力了。
香農(nóng)是最早提出信息智能化的學(xué)者之一。信息論與人工智能之機(jī)器學(xué)習(xí)同為涉及計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)等學(xué)科的分支領(lǐng)域，這兩門交叉學(xué)科在起源和應(yīng)用上有很多相似之處。不過，看起來神乎其神的機(jī)器學(xué)習(xí)，主要還是借用信息論的方法以此拓展理論研究和應(yīng)用場(chǎng)景，比如關(guān)于分類計(jì)算上，借鑒于信息理論來創(chuàng)造和改進(jìn)學(xué)習(xí)算法。
信息論中的一些度量也可以作為學(xué)習(xí)算法的度量?！皩W(xué)習(xí)就是一個(gè)熵減的過程”，學(xué)習(xí)的過程也就是使信息的干擾度下降的過程。比起傳統(tǒng)的經(jīng)驗(yàn)公式為基礎(chǔ)的機(jī)器學(xué)習(xí)，以信息理論為基礎(chǔ)的機(jī)器學(xué)習(xí)也擁有無可比擬的優(yōu)勢(shì)。
好吧來個(gè)具體一點(diǎn)的例子。上個(gè)月人機(jī)大戰(zhàn)中的AlphaGo，其決策樹算法是戰(zhàn)勝人類的重要武器。那么，據(jù)來自于NSF博士論文《 Information Theory and its Relation to Machine Learning》所闡述，以互信息作為學(xué)習(xí)準(zhǔn)則，例如以應(yīng)用信息增益（歸一化的互信息）構(gòu)造最簡(jiǎn)結(jié)構(gòu)決策樹就是其中一種應(yīng)用。這種基于信息理論為學(xué)習(xí)準(zhǔn)則的原理就是將無序數(shù)據(jù)轉(zhuǎn)變?yōu)橛行驍?shù)據(jù)，以信息熵差值作為測(cè)量尺度來評(píng)價(jià)轉(zhuǎn)換效果。
如今也有不少研究者猜想，在機(jī)器學(xué)習(xí)中，所有學(xué)習(xí)目標(biāo)的計(jì)算表征都是可以用熵函數(shù)的優(yōu)化來描述或者解釋的。這個(gè)猜想給了機(jī)器學(xué)習(xí)界一個(gè)很好的研究著力方向。
我們紀(jì)念過那么多偉大的人物，不只在于膜拜。紀(jì)念不是掃墓，我們需要的是繼往開來，或者說利用前人的成果，探索更多的未知世界。香農(nóng)給了我們測(cè)量信息的方式，并未代替我們?nèi)绾卫斫庑畔?。把地球比作一只兔子，信息比作兔毛，我們還要努力爬到兔毛的頂端。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
