“馮·諾伊曼架構(gòu)存儲(chǔ)和計(jì)算分離的模型，已無(wú)法滿足人工智能應(yīng)用的需求，計(jì)算存儲(chǔ)一體化將突破AI算力瓶頸?！边@是達(dá)摩院2020十大科技趨勢(shì)中的技術(shù)趨勢(shì)之一。

外界未預(yù)料到的是，早在這一趨勢(shì)誕生之前，達(dá)摩院就已經(jīng)在存算一體領(lǐng)域排兵布陣，暗自發(fā)力。

近日，達(dá)摩院宣布在存算一體芯片的研究上取得新突破，成功研發(fā)全球首款基于DRAM的3D鍵合堆疊存算一體芯片。作為一條嶄新的技術(shù)分支，這顆芯片也許是芯片行業(yè)的一道曙光，但70年的馮·諾依曼攻計(jì)算體系幾乎已成為行業(yè)鐵律，要攻克技術(shù)和應(yīng)用難題是持久戰(zhàn)，達(dá)摩院能否破局？

計(jì)算機(jī)領(lǐng)域的阿克琉斯之踵

二戰(zhàn)爆發(fā)期間，美國(guó)軍方要求彈道研究實(shí)驗(yàn)室為陸軍炮彈部隊(duì)每天提供6張射表，按照當(dāng)時(shí)的計(jì)算工具，需要雇傭200多名計(jì)算員至少2個(gè)月才能算完一張射表。

為此，美國(guó)集結(jié)了一群科學(xué)家，投資48萬(wàn)美元，最終于1946年建造完成世界上第一臺(tái)通用電子計(jì)算機(jī)ENICA，實(shí)現(xiàn)每秒5000次加法或400次乘法的算力。這臺(tái)計(jì)算機(jī)若龐然大物，功耗也在千瓦級(jí)別。

ENICA建造完成后，團(tuán)隊(duì)工程師馮·諾依曼寫了一份報(bào)告作為反思，報(bào)告明確提到，未來(lái)的計(jì)算機(jī)應(yīng)該包括控制器、存儲(chǔ)器和運(yùn)算器等組成部分，馮·諾依曼體系結(jié)構(gòu)由此誕生。

馮·諾依曼體系結(jié)構(gòu)意義重大，存儲(chǔ)與計(jì)算分離的設(shè)計(jì)，不僅簡(jiǎn)化了計(jì)算機(jī)的設(shè)計(jì)，也讓編程和控制變得更簡(jiǎn)單。

此后，馮·諾依曼體系結(jié)構(gòu)、晶體管和布爾邏輯計(jì)算共同組成傳統(tǒng)計(jì)算機(jī)的三大基石，和硬件之上的軟件、匯編語(yǔ)言、編譯器、應(yīng)用軟件共同推動(dòng)計(jì)算系統(tǒng)向前發(fā)展。

時(shí)至今日，計(jì)算機(jī)經(jīng)歷半個(gè)多世紀(jì)的迭代，雖然架構(gòu)上也有不少改動(dòng)，但始終沒(méi)能擺脫馮氏架構(gòu)的束縛。

使用馮·諾依曼體系結(jié)構(gòu)本身沒(méi)有問(wèn)題，問(wèn)題在于，AI技術(shù)的長(zhǎng)足進(jìn)步，對(duì)算力需求呈爆炸式增長(zhǎng)，雖然多核并行加速技術(shù)提升算力的有效途徑之一，但在后摩爾時(shí)代，晶體管微縮逼近物理極限，芯片算力增長(zhǎng)步履維艱。

最終，算力需求與實(shí)際增長(zhǎng)之間的矛盾將根源指向馮·諾依曼架構(gòu)存算分離的局限性。

計(jì)算與內(nèi)存分離，在計(jì)算的過(guò)程中需要不斷通過(guò)總線交換數(shù)據(jù)，將數(shù)據(jù)從內(nèi)存讀進(jìn)CPU，計(jì)算完成后再寫回存儲(chǔ)。這一運(yùn)轉(zhuǎn)方式讓馮·諾依曼架構(gòu)成為計(jì)算機(jī)領(lǐng)域的阿克琉斯之踵。

一方面，內(nèi)存發(fā)展的速度嚴(yán)重滯后于處理器的發(fā)展速度，處理器的算力以每?jī)赡?.1倍的速度增長(zhǎng)，而內(nèi)存的性能每?jī)赡曛挥?.4倍的提升，處理器和存儲(chǔ)器如同漏斗組合，狹窄的存儲(chǔ)器一端極大的影響了數(shù)據(jù)傳輸?shù)乃俣取?/p>

另一方面，數(shù)據(jù)搬運(yùn)對(duì)能量消耗巨大。數(shù)據(jù)顯示，數(shù)據(jù)從內(nèi)存單元傳輸?shù)接?jì)算單元需要的功耗大約是計(jì)算本身的200倍，真正用于計(jì)算的時(shí)間和功耗占比大大降低。

于是，業(yè)界學(xué)界在降低數(shù)據(jù)搬運(yùn)開銷方面下功夫，高帶寬內(nèi)存、高帶寬數(shù)據(jù)通信、提高存儲(chǔ)器的速度，增加片上存儲(chǔ)等方法一一涌現(xiàn)，不過(guò)這些方法都沒(méi)有改變數(shù)據(jù)存儲(chǔ)和處理的方式，只是某種程度上的緩解，不能從根本上解決馮·諾依曼架構(gòu)瓶頸。為此，將計(jì)算和存儲(chǔ)合二為一的存算一體技術(shù)誕生。

實(shí)際上，這一技術(shù)早在90年代就已經(jīng)被提出，但受限于技術(shù)的復(fù)雜度、高昂的設(shè)計(jì)成本以及應(yīng)用場(chǎng)景的匱乏，過(guò)去幾十年，業(yè)界對(duì)存算一體芯片的研究進(jìn)展緩慢。直至近幾年，英特爾、三星、美光等傳統(tǒng)半導(dǎo)體公司，F(xiàn)acebook、谷歌等都互聯(lián)網(wǎng)公司開始積極布局并逐漸誕生成果，也有諸如Mythic、Syntiant、知存科技、閃億半導(dǎo)體等初創(chuàng)公司涌入這一賽道，但如今尚未有一家公司的存算一體技術(shù)解決方案受到廣泛的市場(chǎng)認(rèn)可。

面對(duì)這一現(xiàn)狀，阿里巴巴希望通過(guò)自研創(chuàng)新技術(shù)解決業(yè)界難題。

破技術(shù)局：達(dá)摩院走出新道路

眾所周知，平頭哥是阿里巴巴旗下的半導(dǎo)體公司，但雷峰網(wǎng)了解到，這顆存算一體芯片的研發(fā)來(lái)自達(dá)摩院。

阿里巴巴達(dá)摩院下設(shè)面向5個(gè)領(lǐng)域的16個(gè)實(shí)驗(yàn)室，包括機(jī)器智能、數(shù)據(jù)計(jì)算、機(jī)器人、金融科技和X實(shí)驗(yàn)室，其中計(jì)算技術(shù)實(shí)驗(yàn)室是一支前沿芯片技術(shù)研究的精銳，由國(guó)內(nèi)外名校畢業(yè)且擁有半導(dǎo)體大廠經(jīng)驗(yàn)研究人員組成，致力于計(jì)算、存儲(chǔ)和互聯(lián)芯片的前沿技術(shù)研究，研究方向涵蓋系統(tǒng)架構(gòu)、計(jì)算機(jī)體系結(jié)構(gòu)、芯片設(shè)計(jì)優(yōu)化等領(lǐng)域。

達(dá)摩院成立的四年里，計(jì)算技術(shù)實(shí)驗(yàn)室一直保持低調(diào)，但團(tuán)隊(duì)出手就是精品，與產(chǎn)業(yè)鏈合作伙伴聯(lián)合研發(fā)出全球首款基于DRAM的3D鍵合堆疊存算一體芯片，這意味著，在存算一體技術(shù)領(lǐng)域達(dá)摩院走出了一條全新的路。

從全球來(lái)看，盡管存算一體技術(shù)的布局者眾多，但仍未有企業(yè)交出優(yōu)秀的答卷，沒(méi)有成功的經(jīng)驗(yàn)借鑒，達(dá)摩院投入必須走一條自己的路！

2019年5月，項(xiàng)目啟動(dòng)之初，達(dá)摩院計(jì)算技術(shù)實(shí)驗(yàn)室科學(xué)家、該項(xiàng)目研發(fā)負(fù)責(zé)人鄭宏忠?guī)ьI(lǐng)團(tuán)隊(duì)成員反復(fù)調(diào)研對(duì)比已有技術(shù)路線，例如近存儲(chǔ)、內(nèi)存計(jì)算和內(nèi)存執(zhí)行計(jì)算，不同的技術(shù)路線都指向同樣的終極目標(biāo)，即像人腦一樣，實(shí)現(xiàn)存儲(chǔ)和計(jì)算的完全融合。

在眾多方案中，達(dá)摩院走上了近存計(jì)算這條路，并且進(jìn)一步選擇3D鍵合堆疊技術(shù)來(lái)實(shí)現(xiàn)。

“工藝成熟度和成本是我們選擇使用存儲(chǔ)邏輯鍵合的主要原因，盡管研發(fā)之路坎坷，但我們也一直沒(méi)有動(dòng)搖?！编嵑曛冶硎?。

在鄭宏忠看來(lái)，很多存算一體的技術(shù)方案對(duì)整個(gè)系統(tǒng)架構(gòu)的破壞性較強(qiáng)，對(duì)外部工藝、工具鏈以及應(yīng)用的要求更苛刻，而通過(guò)鍵合的方式將計(jì)算和存儲(chǔ)相融合，既可以分開設(shè)計(jì)，又可以將其鍵合在一起。

而在此之前的設(shè)計(jì)工作，更是決定這場(chǎng)戰(zhàn)役成敗的關(guān)鍵。達(dá)摩院與其上下游合作伙伴深度合作，研發(fā)多個(gè)創(chuàng)新性技術(shù)。

例如其中內(nèi)存單元采用了異質(zhì)集成嵌入式DRAM（SeDRAM），擁有超大帶寬、超大容量等特點(diǎn)。計(jì)算芯片方面，達(dá)摩院研發(fā)設(shè)計(jì)了基于流的定制化加速器架構(gòu)，對(duì)推薦系統(tǒng)端到端進(jìn)行加速，包括匹配、粗排序、神經(jīng)網(wǎng)絡(luò)計(jì)算、細(xì)排序等任務(wù)。

經(jīng)達(dá)摩院實(shí)驗(yàn)證明，這顆芯片與數(shù)據(jù)中心的推薦系統(tǒng)對(duì)于帶寬/存儲(chǔ)的需求完美匹配。大幅提升帶寬的同時(shí)還實(shí)現(xiàn)了超低功耗，展示了近存計(jì)算在數(shù)據(jù)中心場(chǎng)景的潛力。

測(cè)試顯示，在實(shí)際推薦系統(tǒng)應(yīng)用中，該芯片相對(duì)于傳統(tǒng)CPU計(jì)算系統(tǒng)可以達(dá)到10倍以上性能提升和300倍的能效提升。這一成果很快也被國(guó)際頂級(jí)機(jī)構(gòu)認(rèn)可，相關(guān)論文已被ISSCC2022收錄。

“研發(fā)這顆芯片需要把技術(shù)路線的選擇與產(chǎn)品定義緊密結(jié)合，合適的技術(shù)才能解決真正的問(wèn)題。”鄭宏忠說(shuō)道。

破應(yīng)用局：三五年后見分曉

目前，全球范圍內(nèi)布局存算一體技術(shù)的企業(yè)主要有存儲(chǔ)基因和計(jì)算基因兩類。例如，以三星為代表的存儲(chǔ)芯片廠商，研發(fā)的存算一體芯片偏存儲(chǔ)而輕計(jì)算，另一部分是以英特爾為代表的計(jì)算芯片廠商，偏計(jì)算而輕存儲(chǔ)。

阿里作為半導(dǎo)體領(lǐng)域的新人，依然擁有巨大的機(jī)會(huì)，其在實(shí)現(xiàn)存算平衡和計(jì)算架構(gòu)設(shè)計(jì)上優(yōu)勢(shì)明顯。

過(guò)去幾年，達(dá)摩院計(jì)算技術(shù)實(shí)驗(yàn)室已有幾次創(chuàng)新性成果，這是團(tuán)隊(duì)研發(fā)存算一體技術(shù)的硬實(shí)力。但不容忽視的是，阿里巴巴廣闊的應(yīng)用場(chǎng)景是讓阿里成為存算一體從技術(shù)走向商業(yè)落地“破局者”的重要推力。

“豐富的應(yīng)用場(chǎng)景是存算架構(gòu)落地的關(guān)鍵推力?！编嵑曛艺f(shuō)道。

以搜索推薦為例，這一場(chǎng)景對(duì)內(nèi)存帶寬、功耗、時(shí)延等方面有很高的要求，如果用傳統(tǒng)計(jì)算來(lái)實(shí)現(xiàn)，成本耗費(fèi)高，但用存算的方式就能解決這些問(wèn)題，同時(shí)降低成本。在前期的測(cè)試中，達(dá)摩院這顆存算一體芯片已經(jīng)被證明能夠在推薦系統(tǒng)中展現(xiàn)了極大的應(yīng)用價(jià)值。

瞄準(zhǔn)真正的需求再做針對(duì)性的設(shè)計(jì)研發(fā)，正是達(dá)摩院區(qū)別于其他存算一體技術(shù)研發(fā)團(tuán)隊(duì)的特點(diǎn)。

當(dāng)然，達(dá)摩院并不會(huì)止步于此。達(dá)摩院表示，未來(lái)會(huì)逐步攻克技術(shù)難題，在三維堆疊的近存芯片后會(huì)進(jìn)一步攻克存內(nèi)計(jì)算技術(shù)。

另一方面，也會(huì)和阿里內(nèi)部業(yè)務(wù)保持更緊密的合作，讓這一技術(shù)更快速地落地應(yīng)用。

這是一項(xiàng)浩大的工程，也許需要3到5年的等待時(shí)間?！拔覀冄鐾强眨残枰_踏實(shí)地，對(duì)于一項(xiàng)全新的芯片技術(shù)來(lái)說(shuō)，我們需要有足夠的耐心和定力?！?/p>

對(duì)于已誕生70年之久的馮·諾依曼計(jì)算機(jī)體系架構(gòu)而言，這樣的等待時(shí)間并不算久，前期各大研究機(jī)構(gòu)和企業(yè)的堅(jiān)持投入是人類對(duì)極致算力追求的必然選擇，一旦這一技術(shù)走向市場(chǎng)，AI、VR/AR、天文探索這些場(chǎng)景終將迎來(lái)翻天覆地的變化，而存儲(chǔ)和計(jì)算芯片產(chǎn)業(yè)也將迎來(lái)新的格局！

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。