丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
業(yè)界 正文
發(fā)私信給溫曉樺
發(fā)送

8

香農(nóng)誕辰百年紀(jì)念特輯 | 為什么說紀(jì)念香農(nóng)如同紀(jì)念牛頓?

本文作者: 溫曉樺 2016-04-29 13:24
導(dǎo)語:百年后的今天,我們?yōu)槭裁催€在紀(jì)念克勞德·艾爾伍德·香農(nóng)?

香農(nóng)誕辰百年紀(jì)念特輯 | 為什么說紀(jì)念香農(nóng)如同紀(jì)念牛頓?

克勞德·艾爾伍德·香農(nóng)(Claude Elwood Shannon ),1916年4月30日—2001年2月26日。

香農(nóng)是美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人。1948年,香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》文章,提出了信息熵的概念,并創(chuàng)建了信息論。這篇文章奠定了香農(nóng)“信息論之父”的地位。后來,香農(nóng)在1949年繼續(xù)發(fā)表了《噪聲下的通信》。

幾十年來,人類科技在數(shù)字化、智能化、網(wǎng)絡(luò)化等的推動(dòng)下經(jīng)歷了一波又一波通信、信息革命。數(shù)十年之后,在信息流、物質(zhì)流的社會(huì)中,香農(nóng)的論著依然閃爍著智慧之光,并將照耀人類社會(huì)今后的數(shù)個(gè)世紀(jì)。對(duì)此,雷鋒網(wǎng)咨詢了相關(guān)專業(yè)人士。

“香農(nóng)的現(xiàn)代信息論永不過時(shí)”

是否有人曾質(zhì)疑過,隨著科技的不斷發(fā)展,香農(nóng)的信息論有可能無法滿足現(xiàn)實(shí)的要求?答案是否定的。根源上講,信息流、物質(zhì)流組成了世界。只要世界的根源還是信息與物質(zhì),香農(nóng)揭示的依舊是一個(gè)公理。即便發(fā)展到人工智能的今天,信息依然是一切的基礎(chǔ)。業(yè)界來說,《通信的數(shù)學(xué)理論》是一篇20世紀(jì)少有的、對(duì)人類發(fā)展產(chǎn)生深遠(yuǎn)影響的科學(xué)論著,可與牛頓力學(xué)相媲美。即便百年之后,我們依舊享用著這個(gè)理論來探索未知的世界。

基于香農(nóng)信息論綿延至今的技術(shù)成果

奠定現(xiàn)代加密的理論基礎(chǔ)

20世紀(jì)60年代末開始了通信與計(jì)算機(jī)相結(jié)合,通信網(wǎng)迅速發(fā)展,人類開始向信息化社會(huì)邁進(jìn)。這就要求信息作業(yè)的標(biāo)準(zhǔn)化,加密算法當(dāng)然也不能例外。標(biāo)準(zhǔn)化對(duì)于技術(shù)發(fā)展、降低成本、推廣使用有重要意義。

我們都知道,美國(guó)FBI提出的數(shù)據(jù)加密標(biāo)準(zhǔn)DES,以及最新圖靈獎(jiǎng)得主斯坦福大學(xué)密碼學(xué)和網(wǎng)絡(luò)安全技術(shù)專家惠特菲爾德·迪菲(Whitfield Diffie)和馬丁·赫爾曼(Martin Hellman)提出的公鑰加密系統(tǒng)是現(xiàn)代密碼學(xué)的標(biāo)志,是現(xiàn)代通信的基礎(chǔ)加密技術(shù)。不過,你也許不知道,這兩種標(biāo)準(zhǔn)或體制都以香農(nóng)的信息論為基本指導(dǎo)思想。 

1949年,香農(nóng)公開發(fā)表《保密系統(tǒng)的通信理論》一文,開辟了用信息論來研究密碼學(xué)的新思路。這篇文章基于的理論是香農(nóng)在1945年為貝爾實(shí)驗(yàn)室所完成的一篇報(bào)告《A Mathematical Theory of Cryptography》。論文發(fā)表后,香農(nóng)被美國(guó)政府聘為政府密碼事務(wù)顧問。

DES

DES全稱為Data Encryption Standard,即數(shù)據(jù)加密標(biāo)準(zhǔn),是一種使用密鑰加密的算法。DES設(shè)計(jì)中使用的兩個(gè)分組密碼設(shè)計(jì)原則:混淆(confusion)和擴(kuò)散(diffusion),其目的是抗擊敵手對(duì)密碼系統(tǒng)的統(tǒng)計(jì)分析。這就很好地提現(xiàn)了香農(nóng)1949年的論文中所提出的設(shè)計(jì)強(qiáng)密碼思想:

  • 組合(Combine)概念:由簡(jiǎn)單易于實(shí)現(xiàn)的密碼系統(tǒng)進(jìn)行組合,構(gòu)造較復(fù)雜的、密鑰量較大的密碼系統(tǒng)。Shannon曾給出兩種組合方式,即加權(quán)和法和乘積法。

  • 擴(kuò)散(Diffusion)概念:將每一位明文及密鑰盡可能迅速地散布到較多位密文數(shù)字中去,以便隱蔽明文的統(tǒng)計(jì)特性。

  • 混淆(Confusion)概念:使明文和密文、密鑰和密文之間的統(tǒng)計(jì)相關(guān)性極小化,使統(tǒng)計(jì)分析更為困難。

信息論是研究和評(píng)估保密和認(rèn)證系統(tǒng)的安全的重要工具,同時(shí)熵和信息量也是研究和評(píng)估隱匿系統(tǒng)重要工具。

Shannon曾用揉面團(tuán)來形象地比喻“擴(kuò)散”和“混淆”的作用,密碼算法設(shè)計(jì)中要巧妙地運(yùn)用這兩個(gè)概念。與揉面團(tuán)不同的是,首先密碼變換必須是可逆的,但并非任何“混淆”都是可逆的;二是密碼變換和逆變換應(yīng)當(dāng)簡(jiǎn)單易于實(shí)現(xiàn)。分組密碼的多次迭代就是一種前述的“乘積”組合,它有助于快速實(shí)現(xiàn)“擴(kuò)散”和“混淆”。

可以說,分組密碼設(shè)計(jì)中將輸入分段處理、非線性變換,加上左、右交換和在密鑰控制下的多次迭代,都在香農(nóng)構(gòu)造密碼的思想下指導(dǎo)進(jìn)行。

公鑰加密系統(tǒng)

香農(nóng)在1949年指出:“好密碼的設(shè)計(jì)問題,本質(zhì)上是尋求一個(gè)困難問題的解,相對(duì)于某種其它條件,我們可以構(gòu)造密碼,使其在過程中的某點(diǎn)上等價(jià)于解某個(gè)已知數(shù)學(xué)難題。”在此影響下,迪菲和赫爾曼提出了公鑰加密系統(tǒng)。

  • 迪菲和赫爾曼提出的公鑰加密系統(tǒng),其中的RSA、Rabin、背包、ElGamal、ECC、NTRU、多變量公鑰等所有公鑰算法都是基于某個(gè)數(shù)學(xué)問題求解的困難性。

  • 迪菲和赫爾曼的可證明安全理論就是在于證明是否可以將所設(shè)計(jì)的密碼算法歸約為求解某個(gè)已知數(shù)學(xué)難題。

  • 破譯密碼的困難性,所需的工作量,即時(shí)間復(fù)雜性和空間復(fù)雜性,與數(shù)學(xué)問題求解的困難性密切相關(guān)。計(jì)算機(jī)科學(xué)的一個(gè)新分支——計(jì)算復(fù)雜性理論與密碼需的研究密切關(guān)聯(lián)起來了。

擴(kuò)頻通信與調(diào)制解調(diào)

網(wǎng)絡(luò)化社會(huì)的今天,我們必定離不開電子計(jì)算機(jī)和通信。下面我們用通俗易懂的方式來講一下,我們今天孜孜以求的帶寬、WiFi、藍(lán)牙、GPS等與香農(nóng)的關(guān)系吧:

根據(jù)香農(nóng)(C.E.Shannon)在信息論研究中總結(jié)出的信道容量公式,即香農(nóng)公式:

C=W×Log2(1+S/N)

式中:C——信息的傳輸速率,S——有用信號(hào)功率,W——頻帶寬度,N——噪聲功率,也就是說:

為了提高信息的傳輸速率C,可以從兩種途徑實(shí)現(xiàn),既加大帶寬W或提高信噪比S/N。換句話說,當(dāng)信號(hào)的傳輸速率C一定時(shí),信號(hào)帶寬W和信噪比S/N是可以互換的,即增加信號(hào)帶寬可以降低對(duì)信噪比的要求,當(dāng)帶寬增加到一定程度,允許信噪比進(jìn)一步降低,有用信號(hào)功率接近噪聲功率甚至淹沒在噪聲之下也是可能的。擴(kuò)頻通信就是用寬帶傳輸技術(shù)來換取信噪比上的好處。

擴(kuò)頻的出發(fā)點(diǎn)是加密,后來主要是用來減低干擾,同樣是香農(nóng)公式里面提到的另一個(gè)因子信噪比,也可以得到高帶寬。簡(jiǎn)單來說,所謂降噪就是,帶寬越寬,抗干擾能力越強(qiáng)。但是,帶寬擴(kuò)展上去了,信號(hào)功率就降低了,不符合市場(chǎng)經(jīng)濟(jì)。所以現(xiàn)代通信不是要無限擴(kuò)大帶寬,而是要找平衡點(diǎn)。基于這個(gè)思想,我們還在尋找這個(gè)平衡點(diǎn)。

信息論與機(jī)器學(xué)習(xí)

如果前面說的還是過去和當(dāng)下的影響,那么接下來就不得不佩服香農(nóng)的未來預(yù)示能力了。

香農(nóng)是最早提出信息智能化的學(xué)者之一。信息論與人工智能之機(jī)器學(xué)習(xí)同為涉及計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)等學(xué)科的分支領(lǐng)域,這兩門交叉學(xué)科在起源和應(yīng)用上有很多相似之處。不過,看起來神乎其神的機(jī)器學(xué)習(xí),主要還是借用信息論的方法以此拓展理論研究和應(yīng)用場(chǎng)景,比如關(guān)于分類計(jì)算上,借鑒于信息理論來創(chuàng)造和改進(jìn)學(xué)習(xí)算法。

信息論中的一些度量也可以作為學(xué)習(xí)算法的度量?!皩W(xué)習(xí)就是一個(gè)熵減的過程”,學(xué)習(xí)的過程也就是使信息的干擾度下降的過程。比起傳統(tǒng)的經(jīng)驗(yàn)公式為基礎(chǔ)的機(jī)器學(xué)習(xí),以信息理論為基礎(chǔ)的機(jī)器學(xué)習(xí)也擁有無可比擬的優(yōu)勢(shì)。

好吧來個(gè)具體一點(diǎn)的例子。上個(gè)月人機(jī)大戰(zhàn)中的AlphaGo,其決策樹算法是戰(zhàn)勝人類的重要武器。那么,據(jù)來自于NSF博士論文《 Information Theory and its Relation to Machine Learning》所闡述,以互信息作為學(xué)習(xí)準(zhǔn)則,例如以應(yīng)用信息增益(歸一化的互信息)構(gòu)造最簡(jiǎn)結(jié)構(gòu)決策樹就是其中一種應(yīng)用。這種基于信息理論為學(xué)習(xí)準(zhǔn)則的原理就是將無序數(shù)據(jù)轉(zhuǎn)變?yōu)橛行驍?shù)據(jù),以信息熵差值作為測(cè)量尺度來評(píng)價(jià)轉(zhuǎn)換效果。

如今也有不少研究者猜想,在機(jī)器學(xué)習(xí)中,所有學(xué)習(xí)目標(biāo)的計(jì)算表征都是可以用熵函數(shù)的優(yōu)化來描述或者解釋的。這個(gè)猜想給了機(jī)器學(xué)習(xí)界一個(gè)很好的研究著力方向。

后記

我們紀(jì)念過那么多偉大的人物,不只在于膜拜。紀(jì)念不是掃墓,我們需要的是繼往開來,或者說利用前人的成果,探索更多的未知世界。香農(nóng)給了我們測(cè)量信息的方式,并未代替我們?nèi)绾卫斫庑畔?。把地球比作一只兔子,信息比作兔毛,我們還要努力爬到兔毛的頂端。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說