隨著AI算法的逐步成熟以及芯片算力的提升，歷經(jīng)幾年的熱潮之后，AI技術(shù)只有落地應(yīng)用才能獲得進(jìn)一步的發(fā)展。不過(guò)，算法需求與芯片算力不匹配的需求成為了AI落地的一大障礙，AI軟硬一體化成為關(guān)鍵。但在軟硬一體化提高效率的同時(shí)，如何滿足多樣化的需求也非常關(guān)鍵，定制化成為了趨勢(shì)。

AI終端市場(chǎng)的多樣化需求

這一輪AI熱潮，不僅讓越來(lái)越多的人認(rèn)識(shí)和了解了AI技術(shù)，AI也正在成為每臺(tái)智能設(shè)備日常工作的一部分。事實(shí)證明，深度神經(jīng)網(wǎng)絡(luò)(DNN)非常有用，但是AI的進(jìn)一步發(fā)展和落地仍有很多挑戰(zhàn)。比如，如何使得現(xiàn)有解決方案跟上發(fā)展趨勢(shì)？如何擴(kuò)展解決方案？如何以成熟的工具鏈縮短TTM（Time to Market）和降低成本？

面對(duì)這些問(wèn)題，需要整個(gè)產(chǎn)業(yè)鏈的協(xié)作，共同滿足市場(chǎng)的需求。根據(jù)市場(chǎng)研究機(jī)構(gòu)的報(bào)告，到2022年，全球具有計(jì)算機(jī)視覺(jué)/機(jī)器視覺(jué)相繼的規(guī)模將超過(guò)15億個(gè)，包括智能手機(jī)、安防、消費(fèi)電子、汽車(chē)圖像傳感器、工業(yè)等。

這就意味著，定制化的AI加速器可以更好地滿足市場(chǎng)的不同需求，但與此同時(shí)，AI在邊緣端的落地也面臨挑戰(zhàn)。CEVA營(yíng)銷(xiāo)副總裁Moshe Sheier認(rèn)為，在邊緣AI中，AI的落地面臨的問(wèn)題就是數(shù)據(jù)量太大且運(yùn)算太復(fù)雜，芯片的算力非常關(guān)鍵。

CEVA營(yíng)銷(xiāo)副總裁Moshe Sheier

如何破解AI處理器的帶寬難題？

Moshe Sheier近日接受雷鋒網(wǎng)采訪時(shí)表示，AI算法公司在做落地項(xiàng)目的時(shí)候，受困于硬件算力不足的問(wèn)題，可能會(huì)犧牲很多特性。所以我們現(xiàn)在希望算法公司能夠向芯片公司提出更多的需求，讓芯片的設(shè)計(jì)能夠更好地滿足算法需求。只有算法的效率提高了，AI才能更好的落地。

提到效率，無(wú)法避開(kāi)的問(wèn)題就是AI到底需要專(zhuān)用還是通用的芯片，通用的芯片能夠更好適應(yīng)算法的演進(jìn)，但算力不及專(zhuān)用芯片。Moshe Sheier認(rèn)為，AI加速器一定是一個(gè)趨勢(shì)，同時(shí)，視頻DSP在AI中非常重要，因?yàn)锳I算法還有很多不確定性。如今算法公司不會(huì)只采用一種神經(jīng)網(wǎng)絡(luò)，而是會(huì)進(jìn)行組合。運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)模型就一定會(huì)涉及對(duì)結(jié)果進(jìn)行CV的處理，這時(shí)候CPU可能會(huì)面臨一些瓶頸。我們的XM DSP針對(duì)了所有流行的神經(jīng)網(wǎng)絡(luò)都進(jìn)行了優(yōu)化，能夠更好的滿足多神經(jīng)網(wǎng)絡(luò)的算法。

基于對(duì)流行神經(jīng)網(wǎng)絡(luò)特征的理解，CEVA在今年9月推出了第二代面向邊緣設(shè)備的AI推理處理器架構(gòu)NeuPro-S，NeuPro-S系列包括NPS1000、NPS2000和NPS4000，它們是每個(gè)周期分別具有1000、2000和4000個(gè)8位MAC的預(yù)配置處理器。NPS4000具有最高的單核CNN性能，在1.5GHz時(shí)可達(dá)到12.5 TOPS，并且可完全擴(kuò)展，最高可達(dá)到100 TOPS。

根據(jù)官方的說(shuō)法，與CEVA第一代AI處理器相比，NeuPro-S的性能平均提升50%，內(nèi)存帶寬和功耗分別降低了40%和30%。

這種性能的提升主要來(lái)自硬件還是軟件的優(yōu)化？Moshe Sheier表示主要是來(lái)自硬件，因?yàn)镃EVA在NeuPro-S中增加了離線的權(quán)重壓縮和硬件的權(quán)重解壓縮。

之所以要這么做，是因?yàn)樯窠?jīng)網(wǎng)絡(luò)與視頻編解碼不太一樣，即便很小的圖片，引入卷積后權(quán)重的數(shù)據(jù)量非常大，因此帶寬成為了AI處理器的瓶頸。而CEVA采用的多重權(quán)重壓縮，減少對(duì)帶寬的需求。

不僅如此，NeuPro-S還支持多級(jí)內(nèi)存系統(tǒng)。具體而言，就是加入了L2內(nèi)存的支持，用戶(hù)通過(guò)設(shè)置L2的大小，可以盡量把數(shù)據(jù)放在L2的緩存，減少使用外部SDRAM，降低傳輸成本。

Moshe Sheier指出，硬件增加L2并不復(fù)雜，CEVA主要的工作是在我們CNDD軟件框架中加入對(duì)L2內(nèi)存的支持。

因此，NeuPro-S相比上一代NeuPro非常重要的工作就是進(jìn)行帶寬的優(yōu)化，這樣才有可能達(dá)到理論設(shè)計(jì)的利用率。雷鋒網(wǎng)了解到，CEVA設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)引擎時(shí)最關(guān)注的問(wèn)題就是乘法利用率，CEVA借助DSP設(shè)計(jì)的豐富經(jīng)驗(yàn)，設(shè)計(jì)出的神經(jīng)網(wǎng)絡(luò)引擎理論的乘法利用率在80%-90%、雖然實(shí)際利用率會(huì)低于理論值，但NeuPro-S帶寬的增大將能夠減少數(shù)據(jù)的等待，能提高乘法利用率。

最終，經(jīng)設(shè)計(jì)優(yōu)化NeuPro-S，能夠?qū)吘壴O(shè)備中視頻和圖像中的物品進(jìn)行分割、檢測(cè)和分類(lèi)神經(jīng)網(wǎng)絡(luò)，顯著提高系統(tǒng)感知性能。除了支持多級(jí)內(nèi)存系統(tǒng)以減少使用外部SDRAM的高成本傳輸，并支持多重壓縮選項(xiàng)和異構(gòu)可擴(kuò)展性，提升算力滿足AI算法的需求。

目前，CEVA的NeuPro-S已經(jīng)過(guò)了車(chē)規(guī)驗(yàn)證，已授權(quán)許可予汽車(chē)和消費(fèi)產(chǎn)品相機(jī)應(yīng)用領(lǐng)域的領(lǐng)先客戶(hù)。

定制AI處理器成為趨勢(shì)

更值得一提的是，CEVA可以在單個(gè)統(tǒng)一架構(gòu)中實(shí)現(xiàn)CEVA-XM6視覺(jué)DSP、NeuPro-S內(nèi)核和定制AI引擎的各種組合。這樣的架構(gòu)的意義在于，首先是能夠通過(guò)不同的組合滿足市場(chǎng)的需求；其次，通過(guò)統(tǒng)一的軟件平臺(tái)，能降低AI算法開(kāi)發(fā)者算法部署難度，據(jù)悉CNDD支持Caffe、TensorFlow和ONNX；另外，還能減少AI加速器開(kāi)發(fā)者軟件的開(kāi)發(fā)成本。

“有些網(wǎng)絡(luò)現(xiàn)在還是在演進(jìn)過(guò)程中，CPU要進(jìn)行其他的控制工作，所以要運(yùn)行AI加速器不支持網(wǎng)絡(luò)，或者加一些新特性時(shí)運(yùn)算單元不夠。我們的方案就既有CEVA的視覺(jué) DSP，對(duì)于級(jí)連神經(jīng)網(wǎng)絡(luò)，視覺(jué)DSP可以作為主控，也可以處理一些AI加速器不能處理的網(wǎng)絡(luò)，再與客戶(hù)的硬件加速器一起，更好地滿足神經(jīng)網(wǎng)絡(luò)計(jì)算需求?！癕oshe Sheier表示。

Moshe Sheier同時(shí)強(qiáng)調(diào)，做一個(gè)硬件簡(jiǎn)單，但是做上層軟件很復(fù)雜。所以我們搭配視覺(jué) DSP也提供了更加開(kāi)放的CDNN的軟件框架，這個(gè)軟件框架可以讓客戶(hù)自己的硬件加速器的驅(qū)動(dòng)集成到軟件框架中。而后，CDNN將會(huì)全面優(yōu)化、增強(qiáng)網(wǎng)絡(luò)和層，提升CEVA-XM6視覺(jué)DSP、NeuPro-S和定制神經(jīng)網(wǎng)絡(luò)處理器的利用率。

據(jù)介紹，CDNN更偏向于上層，基于CEVA的經(jīng)驗(yàn)以及了解定制AI加速器的特性，能夠進(jìn)行任務(wù)的分配。AI加速器的開(kāi)發(fā)者需要做的就是能夠?qū)⑵溆布?qū)動(dòng)，而CEVA也會(huì)給AI加速器開(kāi)發(fā)者提供底層驅(qū)動(dòng)參考，其它大量的工作以及優(yōu)化都由CDNN完成。

目前CEVA已經(jīng)向領(lǐng)先客戶(hù)提供CDNN-Invite API，將于2019年底進(jìn)行普遍授權(quán)許可。

雷鋒網(wǎng)小結(jié)

CEVA作為全球重要的無(wú)限鏈接和中能傳感器技術(shù)IP公司，采用CEVA技術(shù)的設(shè)備每年大約出貨10億臺(tái)設(shè)備。就正在落地的AI來(lái)說(shuō)，CEVA憑借在DSP設(shè)計(jì)中多年的經(jīng)驗(yàn)，以及針對(duì)流行神經(jīng)網(wǎng)絡(luò)的優(yōu)化的經(jīng)驗(yàn)，在今年推出了第二代AI加速器。但正如Moshe Sheier所言，設(shè)計(jì)出硬件并不難，如何部署和應(yīng)用才是關(guān)鍵。這其中軟件非常關(guān)鍵，CEVA以更加開(kāi)放的心態(tài)，可以讓AI加速器開(kāi)發(fā)者更容易的集成和應(yīng)用，同時(shí)能夠降低成本，這對(duì)于AI的進(jìn)一步發(fā)展意義重大。這是因?yàn)椋覀兛吹紸rm上月推出了Arm Custom instructions，允許用戶(hù)加入自定義指令功能。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。