1
本文作者: 老王 | 2016-11-15 19:53 | 專題:微軟亞洲研究院院友會(huì) |
雷鋒網(wǎng)按:本文根據(jù)余凱在微軟亞洲研究院召開的“讓世界充滿 AI-人工智能研討會(huì)”上所做的報(bào)告《 “AI Inside”無(wú)處不在的未來(lái) 》編輯整理而來(lái),在未改變?cè)獾幕A(chǔ)上略有刪減。
我總在思考,如果當(dāng)一個(gè)風(fēng)口到了的時(shí)候,我再進(jìn)入這個(gè)風(fēng)口,我會(huì)沒有滿足感。
我始終在想,下一個(gè)機(jī)會(huì)在什么地方?它現(xiàn)在可能處于邊緣狀態(tài),但我相信某個(gè)邊緣的機(jī)會(huì),會(huì)成為一個(gè)未來(lái)的機(jī)會(huì),而這個(gè)未來(lái)的機(jī)會(huì)就是下一個(gè)風(fēng)口。
這個(gè)思考過程非常痛苦,因?yàn)樾枰粩喾穸ㄗ约海ヌ魬?zhàn)自己,而且不被大多人理解。
2012 我們?cè)谇迦A大學(xué)以及百度內(nèi)部推深度學(xué)習(xí),別人會(huì)質(zhì)疑:投入這么大的資源去做這個(gè)事情是否值得。而現(xiàn)在,很多項(xiàng)目都是基于深度學(xué)習(xí),并且應(yīng)用非常的廣泛。
這其實(shí)就是一個(gè)從邊緣到中心的典型案例。
我繼續(xù)在思考,是不是該到邊緣去,看看將來(lái)有沒有機(jī)會(huì)成為撬動(dòng)世界的力量。這就是我的 AI Inside,之前有個(gè)概念叫 Intel Inside,它創(chuàng)造了摩爾定律,撬動(dòng)了整個(gè) IT 產(chǎn)業(yè)。
2002 年我在微軟實(shí)習(xí),當(dāng)時(shí)我、何曉飛、顏水成是團(tuán)隊(duì)里為數(shù)不多較為關(guān)注機(jī)器學(xué)習(xí)的人,因?yàn)橹就篮衔覀兙统蔀榱撕门笥选S幸馑嫉氖?,之后我們?nèi)死锩?,我?chuàng)立了百度深度學(xué)習(xí)研究院,曉飛創(chuàng)立了滴滴研究院,而水成則創(chuàng)辦了 360 人工智能研究院。
我認(rèn)為驅(qū)動(dòng)人工智能的進(jìn)展主要有三個(gè)因素:
大數(shù)據(jù):線下的數(shù)據(jù)不斷線上化。
大算法:深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的發(fā)展,深度學(xué)習(xí)用來(lái)感知、處理信號(hào),增強(qiáng)學(xué)習(xí)則做于決策。二者相輔相成。
大計(jì)算:按照摩爾定律,2030 年一千美金買到的計(jì)算資源跟人腦相似。當(dāng)然,現(xiàn)在英特爾宣布摩爾定律開始變慢。所以預(yù)測(cè)沒法這樣下去,另外一方面,從宏觀上講,對(duì)處理器架構(gòu)的改版不僅僅是工藝層面,架構(gòu)的變化也為計(jì)算帶來(lái)變化。
從統(tǒng)計(jì)學(xué)習(xí)理論角度講,分析一個(gè)學(xué)習(xí)算法的性能一般用推廣誤差來(lái)分析它。如果我們對(duì)推廣誤差的來(lái)源做分析,我們就能找到更好的方法去控制算法中一些不恰當(dāng)?shù)牡胤?,以便找到更好的手段?/p>
這其中有一個(gè)經(jīng)典的統(tǒng)計(jì)角度分析方法,就是把推廣誤差分解為:近似誤差(Approximation error) 和估計(jì)誤差(Estimation error)。
近似誤差(Approximation error)主要會(huì)做一些假設(shè),由于假設(shè)的不完美,所以帶來(lái)了近似誤差,另外一種由于數(shù)據(jù)的不完美,所導(dǎo)致估計(jì)誤差(Estimation error)的出現(xiàn)。
這樣分析存在一個(gè)問題,就是你假設(shè)的計(jì)算資源是無(wú)限的,所以可以得到這樣一個(gè)分析的結(jié)果。但從計(jì)算機(jī)科學(xué)的角度上來(lái)講的話,我們會(huì)考慮計(jì)算的不完美,所以引入第三個(gè)誤差:Optimization error,也就是算法。
考慮到計(jì)算的不完美,我們得到一些引導(dǎo)。
Model Class Bias:我們用大模型,模型越來(lái)越大,Bias 就越來(lái)越小。
用更多的數(shù)據(jù)。
設(shè)計(jì)一個(gè)合適的算法。
深度學(xué)習(xí)處于一個(gè)非常幸運(yùn)的區(qū)間,從統(tǒng)計(jì)性能來(lái)講,他的 Model Bias 很小,但從計(jì)算效果來(lái)講,它可以看到大數(shù)據(jù)。
這是一個(gè)很幸運(yùn)的事情,過去深度學(xué)習(xí)在視覺和語(yǔ)音上有著很多的應(yīng)用,而在互聯(lián)網(wǎng)行業(yè)中主要應(yīng)用在搜索和廣告中,當(dāng)然,機(jī)器人也是一大落地方式,深度學(xué)習(xí)在機(jī)器人的作用主要在于決策。
在百度期間,我們利用很大的模型和 1000 億個(gè)訓(xùn)練樣本,去改善搜索引擎的檢索,比谷歌的 Ranknet 早兩年。
包括在數(shù)據(jù)中心用深度學(xué)習(xí)改善運(yùn)行效率,把 PUE(評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo))降低,這比 Deepmind 今年做出的結(jié)果早一到兩年時(shí)間。
除了這些以及自動(dòng)駕駛外,深度學(xué)習(xí)還能提升廣告收入。這是百度當(dāng)年的股票曲線:
圖中那個(gè)節(jié)點(diǎn),是百度對(duì)外公布基于深度學(xué)習(xí)的百度蜂巢網(wǎng)絡(luò)(廣告系統(tǒng))的節(jié)點(diǎn)。
剛加入百度的時(shí)候,我在自我介紹環(huán)節(jié)提到,希望在兩三年時(shí)間內(nèi)讓外界在討論 Google 人工智能時(shí)也會(huì)討論百度。
站在今天這個(gè)時(shí)間點(diǎn)上,我想跟大家分享。
我的回答說(shuō) AI Inside,過去我們?cè)谠贫瞬渴鹚惴ê头?wù),但是現(xiàn)在有個(gè)機(jī)會(huì)是,把運(yùn)算放在嵌入式和前端中。
比如是否可以在前端實(shí)現(xiàn)語(yǔ)音識(shí)別?
這樣在跟太太說(shuō)的話不一定要傳在云端里面,隱私能更好保護(hù),體驗(yàn)更好。
再比如說(shuō)在自動(dòng)駕駛,如果有個(gè)小孩子突然橫穿馬路,傳感器需要把這個(gè)信號(hào)傳送至云端,然后做決策,但如果這個(gè)時(shí)候網(wǎng)絡(luò)信號(hào)不好呢?
這就涉及到如何在前端嵌入式地解決人工智能的問題。
(顏水成博士曾在雷鋒網(wǎng)承辦的 CCF-GAIR 大會(huì)中提到,如果將運(yùn)算任務(wù)直接下發(fā)到智能設(shè)備終端上,這些瓶頸就會(huì)迎刃而解。但是,把運(yùn)算載荷放到設(shè)備上,顯然要克服諸多問題。其中最大的一個(gè)就是:終端設(shè)備的運(yùn)算能力存在天花板。由于智能設(shè)備成本有限,大多不可能配備頂級(jí)運(yùn)算芯片)。
在中國(guó)有很多應(yīng)用場(chǎng)景,中國(guó)每年需要新部署一億的安防攝像頭,大概到 2021 年,其中 30% 的是智能安防攝像頭。這就必須要求低功耗,如果功耗很高,在陽(yáng)光照射下,溫度能達(dá)到 70 到 80 度,這種情況下就不能很好地處理計(jì)算。
平均每輛自動(dòng)駕駛汽車擁有 8 到 10 個(gè)攝像頭,再加上傳感器、雷達(dá)、激光雷達(dá)等等,每一秒產(chǎn)生 TB 的級(jí)的數(shù)據(jù),這種計(jì)算怎么去處理?
孫正義預(yù)測(cè),2040 年會(huì)有 100 億個(gè)機(jī)器人,當(dāng)然這種機(jī)器人指的是廣義上的智能機(jī)器,而不僅僅是人形機(jī)器人。
歷史總是在不斷重復(fù),首先是 Enabling Technology Businees ,然后是 Technology Tnabled Business。
前者賣的是技術(shù)本身,當(dāng)這些技術(shù)成熟后,一些公司做開發(fā)直接采用別人的技術(shù),在這基礎(chǔ)上,這些公司賣的是其他產(chǎn)品。
互聯(lián)網(wǎng)時(shí)代,思科的市值一度高達(dá)到 3000 億美金。雖然當(dāng)時(shí)我們不知道互聯(lián)網(wǎng)有什么用,但得先鋪好網(wǎng)絡(luò),等網(wǎng)絡(luò)鋪好后,在這上面出現(xiàn)了 Google、Facebook 這些應(yīng)用。正如圖中顯示,谷歌在后面成長(zhǎng)起來(lái)。
移動(dòng)互聯(lián)網(wǎng),雖然不知道移動(dòng)應(yīng)用在哪里,但移動(dòng)網(wǎng)絡(luò)需要 CDMA,鋪好后蘋果成為了巨無(wú)霸。
過去三四年時(shí)間,有個(gè)規(guī)律正在發(fā)生。
2011 年谷歌做大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練,最后識(shí)別出貓臉,其實(shí)這件事是失敗的。當(dāng)時(shí)他們相信用 CPU 可以做所有事情,后面 Jeff Dean 意識(shí)到做神經(jīng)網(wǎng)絡(luò)訓(xùn)練用 CPU 是錯(cuò)誤的。在百度,我們大規(guī)模用 GPU 做深度學(xué)習(xí)訓(xùn)練,在 2014 年,我們和微軟都意識(shí)到 GPU 只適合做訓(xùn)練,不適合推斷和預(yù)測(cè),所以在大規(guī)模部署FPGA。今年我們也看到了其他產(chǎn)品如 TPU 和 BPU。
我再給大家看一個(gè)曲線,這個(gè)曲線是我一個(gè)禮拜之前畫的:
這是英偉達(dá)的股價(jià)曲線,從去年七月開始到現(xiàn)在漲了四倍。在全球所有的高科技公司里面沒有一家可以像它一樣如此高速成長(zhǎng)。為什么?現(xiàn)在無(wú)論 AI 大公司還是小公司,總需要買 GPU 訓(xùn)練模型。這就是 Enabling Technology 先行,Technology Enabled Business 順勢(shì)崛起的一個(gè)典型案例。
地平線正在建立一個(gè)軟件和處理器的深度神經(jīng)網(wǎng)絡(luò)平臺(tái),讓上層應(yīng)用的表現(xiàn)有 1000 倍的提升,不是跟 CPU 比,我們是跟 GPU 比。
面向的應(yīng)用場(chǎng)景主要包括自動(dòng)駕駛和智能家居。
和英偉達(dá)的業(yè)務(wù)相比,他們的工作區(qū)域是在 20 瓦到 300 瓦,地平線的目標(biāo)是 0.5 瓦到 5 瓦,他們的核心競(jìng)爭(zhēng)力是價(jià)格優(yōu)勢(shì)和服務(wù),我們的定位策略是芯片+算法、解決方案和設(shè)備。
一直到今天為止,谷歌和百度的無(wú)人車在測(cè)試時(shí)每行駛一小時(shí)就需要在樹蔭下休息,知道為什么嗎?因?yàn)橐?,無(wú)人車的功耗是非常大的。
假如我們涉及處理自動(dòng)駕駛這樣一個(gè)計(jì)算,跟英偉達(dá)的計(jì)算相比,我們的不同在哪里。
地平線的優(yōu)勢(shì)在于我們跑這個(gè)運(yùn)算時(shí)少于 1 瓦特,但他們用了 100 瓦特,這就是我們的區(qū)別,也是地平線機(jī)器人正在做的事情。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
本專題其他文章