2020 年 8 月 7 日，第五屆全球人工智能與機(jī)器人峰會（CCF-GAIR 2020）于深圳正式拉開帷幕。

CCF-GAIR 2020 峰會由中國計算機(jī)學(xué)會（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)聯(lián)合承辦，鵬城實驗室、深圳市人工智能與機(jī)器人研究院協(xié)辦。

從 2016 年的學(xué)產(chǎn)結(jié)合，2017 年的產(chǎn)業(yè)落地，2018 年的垂直細(xì)分，2019 年的人工智能 40 周年，峰會一直致力于打造國內(nèi)人工智能和機(jī)器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺。

8 月 7 日下午，依圖科技 CTO 顏水成為人工智能前沿專場做了題為《芯智能，新基建》的主題演講。

顏水成從新基建的產(chǎn)業(yè)大規(guī)模應(yīng)用出發(fā)，首先探討了學(xué)術(shù)界和工業(yè)界在人工智能探索方面的差別；以紅燒獅子頭作比喻，認(rèn)為學(xué)術(shù)界追求算法的可復(fù)制性、新穎性和公平性，而工業(yè)界的最終面向?qū)ο笫强蛻簦蛻羰遣⒉魂P(guān)心過程的。

所以，顏水成認(rèn)為，工業(yè)界要想讓人工智能走向落地，一個非常重要的點是要讓人工智能的成本降低，讓用戶用得起；這時候就需要把算法的效能和芯片的效能，通過協(xié)同開發(fā)的方式去形成人工智能的解決方案，而不是純粹的算法——這種解決方案稱之為芯智能。

值得一提的是，顏水成在演講中也談到了 "算法即芯片" 的理念，他表示：

要想打造一款有競爭力的芯片，要清晰明白這個芯片典型的使用場景，它的主要算法以及這些算法在未來幾年里可能的發(fā)展趨勢，然后根據(jù)這些信息再去對芯片架構(gòu)進(jìn)行優(yōu)化，以及對工具鏈做相應(yīng)的優(yōu)化，最后實現(xiàn)它們相互的優(yōu)化，但同時也要保障芯片和算法能夠分層解耦。

以下是顏水成大會現(xiàn)場全部演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的整理及編輯：

顏水成：今天想跟大家分享依圖在人工智能解決方案和人工智能的基礎(chǔ)設(shè)施維度的一些觀點和進(jìn)展。

人工智能在學(xué)術(shù)界和工業(yè)界的探索之差

今年新基建被提出來，在新基建的概念里面，一共定義了 7 個核心領(lǐng)域，其中有 4 個領(lǐng)域都跟人工智能和芯片有密切的聯(lián)系，如果仔細(xì)分析這四個方向，就會發(fā)現(xiàn)其跟產(chǎn)業(yè)大規(guī)模的應(yīng)用是非常相關(guān)的，但是當(dāng)我們?nèi)ヌ剿魅斯ぶ悄艿臅r候，在學(xué)術(shù)界和工業(yè)界的差別是非常巨大的。

下面我想用一個類似“紅燒獅子頭”這樣的比喻來說明在工業(yè)界和學(xué)術(shù)界研究人工智能本質(zhì)的差別。我們暫且從深度學(xué)習(xí)的角度出發(fā)，把紅燒獅子頭當(dāng)做是學(xué)術(shù)界或者工業(yè)界訓(xùn)練出來的最終的模型，在學(xué)術(shù)界，我們要得到這樣一個模型或者寫一篇論文，一般我們會說“請廚師在這個廚房用這些食材，當(dāng)面給我做一個紅燒獅子頭”為什么是這樣呢？因為在學(xué)術(shù)界評判的對象是行業(yè)的專家，我們追求算法的可復(fù)制性，追求它的新穎性、公平性。公平性就意味著你要用同樣的數(shù)據(jù)，要用同樣的算力來做工作。新穎性就是這個廚師在做的過程中有什么新穎的地方，如果新穎的話，我就會覺得這個工作非常好。

但是工業(yè)界不是這樣的，我們的評判對象是最終的客戶，它的場景就類似于我就要一個紅燒獅子頭，請給我上來。我們的最終客戶并不會關(guān)心我們到底是用什么樣的食材做的，用了什么樣的制作工具，以及到底是誰烹飪的，我們都不管，他關(guān)心的就是最后他的這個紅燒獅子頭的味道是什么樣子的。

正是因為這些差別，有很多的學(xué)術(shù)界的教授到工業(yè)界并不能很好地適應(yīng)這種變化。所以在工業(yè)界里面當(dāng)我們?nèi)パ芯咳斯ぶ悄艿臅r候，一個非常優(yōu)秀的人工智能的模型，它的精度和速度在某種意義上已經(jīng)可以開始被解耦。

在工業(yè)界如果要想打造一個非常不錯的人工智能的模型，一般有兩種方式，一種是數(shù)據(jù)和迭代的執(zhí)行力，一種是在算法上的創(chuàng)新。

如果我們要提升一個模型的精度，在當(dāng)前這個大背景，也就是很多算法已經(jīng)被開源的情況下，從算法角度能提升的精度和用大數(shù)據(jù)能提升的精度相比，往往大數(shù)據(jù)能提升的要大非常多。

但是如果我們想從速度的角度來提升，這個時候純粹靠速度和執(zhí)行力，它的價值就相對來說會小很多，算法的價值就會變得非常大。

也就是說在工業(yè)界，在算法已經(jīng)給你的情況下，你從數(shù)據(jù)的角度能快速提升精度，當(dāng)然是對速度的提升相對有限。

但是從算法創(chuàng)新的角度，可以把這個速度提升得非常多，但是精度的提升是非常弱的。如果我們要想讓人工智能落地的話，首先是要讓用戶用得起人工智能，同時，需要把算法的效能和芯片的效能，通過協(xié)同開發(fā)的方式形成人工智能的解決方案，而不是純粹的算法，我們把這種解決方案叫做芯智能，而這也是依圖在過去這幾年作為服務(wù)于新基建的核心和根基。

那么，為什么要做芯片和算法的協(xié)同開發(fā)呢？下面我們從三個維度的關(guān)系來做一個分析，一是算法模型的效能，二是芯片計算的效能，三是算法模型效能和芯片計算效能合并之后能分析的數(shù)據(jù)的規(guī)模。

如果我們只是一個算法開發(fā)者，當(dāng)一款算法開發(fā)出來之后，把它用在具體的芯片上，姑且認(rèn)為它們能處理的速度規(guī)模就是它們的線段交叉的部分，當(dāng)我們用更高效能的芯片，也就是說我們會用更好制程的芯片提升它的效能，我們能處理的數(shù)據(jù)的規(guī)模會不斷提升。但是因為算法和芯片兩個是分開的，所以它只能起到一個線性連接的作用。

假設(shè)我是一個芯片開發(fā)者，我們要解決一個具體場景的應(yīng)用，比如說城市大腦，當(dāng)我們用不同的模型，隨著模型的效能提升，我們能夠讓這個分析的規(guī)模逐步的提升。但是如果我們協(xié)同開發(fā)，它就完全不一樣了，它會帶來一個額外的增量，它不再只是說連線上能處理的數(shù)據(jù)的規(guī)模，協(xié)同開發(fā)會帶來一個額外的增量，這個增量會極大地提升最終解決方案的效能，從而讓我們提供的解決方案更具核心競爭力。

具體來說就是“算法即芯片”的理念，你要想在當(dāng)前芯片非常多的背景下，打造一款有競爭力的芯片，你要清晰明白這個芯片典型的使用場景，它有哪些主要的算法，以及這些算法在接下來幾年里面可能的發(fā)展趨勢，然后根據(jù)這些信息再去對你的芯片架構(gòu)進(jìn)行優(yōu)化，以及工具鏈做相應(yīng)的優(yōu)化，最后實現(xiàn)它們相互的優(yōu)化，但要保障芯片和算法能夠分層解耦。

依圖做的兩個工作

接下來跟大家分享依圖在過去這段時間里面在高效能的算法和高效能的芯片里面做的一些工作。

在高效能算法里面分享兩個，第一個工作是想跟 bottleneck structure  （音）做一個正名，它也可以用來設(shè)計低資源、低功耗的深度學(xué)習(xí)的模型，自從 MobileNetV2 被提出來之后，Inverted Residual Block(IRB) 一直被用來設(shè)計所有低資源、低功耗的深度學(xué)習(xí)的模型，但是 IRB 有一個特點，它的連接的部分是在窄的部分，在這個部分有一個比較大的問題，當(dāng)信息通道變少了以后，也就是說它窄了的話，從不同的隨機(jī)數(shù)據(jù)樣本獲取的梯度差別就會很大，它會有很大的抖動，當(dāng)不同數(shù)據(jù)樣本里面產(chǎn)生的梯度互相矛盾的時候，優(yōu)化的速度就會大大的降低。盡管在 MobileNetV2 里面有實驗表明: IRB 這種反漏斗模型的效率比 bottleneck structure 要好很多，但是并沒有太仔細(xì)地講它這個漏斗模型到底是怎么樣設(shè)計的。

于是我們做了三組非常詳細(xì)的實驗，一組實驗是在 IRB 的1×1卷積之后，第二個是在 3×3 這個寬的地方有 ReLU 的情況，第三種是把 ReLU 去掉去做直連。如果我們從 1×1 的卷積上直連，它的性能確確實實比 IRB 差不少，但是我們把它連接的位次上升到 3×3 的卷積的時候，效率就提升了，一個經(jīng)驗上的解釋是因為 1×1 卷積缺少 Special information，或者它的 Complex 比不上 3×3 卷積之后那么好。（這部分不太確定）

就第三種情況來看，當(dāng)我們把這個 ReLU 去掉之后，它的模型就比 IRB 有更好的效能，從 72.3% 上升到  73.7%，從這些實驗說明，bottleneck structure如果純粹從結(jié)構(gòu)上說，會增益網(wǎng)絡(luò)梯度更新，增加收斂速度，進(jìn)而用來設(shè)計低功耗的深度學(xué)習(xí)的模型是沒有問題的。

我們到底如何設(shè)計一個非常通用的適合于低功耗的場景的模型呢？

我們直接從 bottleneck structure 開始肯定是比較難，因為 3×3 的卷積是放在非常窄的地方，Spatial context 考慮得太少，于是我們把 3×3 卷積從它原來的位置放到了比較寬的位置，同時我們把它 copy 兩份，這樣即使在 Depthwise 這種情況下，這個模型 Spatial context 還能考慮得非常充分，于是我們就得到了右邊這樣一個 bottleneck structure，用來設(shè)計低功耗深度學(xué)習(xí)的模型。

但是還有一個問題，如果從寬的地方直連，一個現(xiàn)實的情況是在現(xiàn)在的算力平臺上，Element wise 這種加法計算的效能是相對來說比較差的，同時跳躍鏈接可能會引起額外的內(nèi)存訪問，這對于計算效能的影響也是不可忽略的。所以減小跳躍鏈接的Tensor 尺度可以有效的提高硬件效率。這也是當(dāng)時 IRB 提出的一個主要原因，于是我們提出一種思想叫Partial connection，這恰好是我們在 2017 年打 ImageNet 競賽里面提出的一個核心的思想，這個實驗的結(jié)果非常有意思，我們把它從原來百分之百的直連降成 50% 的直連，一般而言它的性能不但沒有下降，還會上升，這也證明原來這種思想也是非常合適的，這樣我們就得到了非常適合做低資源、低功耗、深度學(xué)習(xí)的模型設(shè)計的網(wǎng)絡(luò)。我們把 MobileNetV2 的 IRB 的結(jié)構(gòu)替換成新的 SG Block  的模型，把模型的性能從 72.3% 上升到 74%，加上一些其它的優(yōu)化，可以上升到 77.3%，在這種情況下，說明我們用 bottleneck structure 已經(jīng)跟當(dāng)前幾乎是最好的低資源的深度學(xué)習(xí)模型可以媲美。

我們看一下這個模型的結(jié)構(gòu)，是不是有足夠的泛化的能力，于是把它放到了現(xiàn)在大家在深度思考的 NAS的思想里面，我們用 Darts 的算法，把原來的 search space 加入SG block，我們做了三組不同的實驗，一種用原始的 search space，一種把 IRB放進(jìn)去，SG Block在參數(shù)一定降低的情況下，還能把精度提升，而且Darts會自動地在它的網(wǎng)絡(luò)里面大量選用 SG Block，也就是說 SG Block 是通用的，可以在很多場景使用，來提升低資源、低功耗、深度學(xué)習(xí)設(shè)計的網(wǎng)絡(luò)。

第二個工作是希望去提升在 Language model 或者 Training model 的 Training Efficient。前面幾位講者介紹的模型，哪怕最原始的模型，都會有一個顯著的問題，跟通用的計算機(jī)視覺模型相比，它的參數(shù)要大很多，它差不多是4倍以上的參數(shù)、60 倍以上的計算量，這樣帶來的后果就是，除了大公司有能力去探索這個領(lǐng)域，在學(xué)校里面的研究者基本上沒有太多的機(jī)會深入地對這些方向進(jìn)行探索，我覺得這肯定不是最好的，于是我們思考，能不能有辦法把基礎(chǔ)的速度大幅提升。在 self-attention 使用的時候，我們發(fā)現(xiàn)一個比較大的問題，它這里面存在非常多的冗余的信息。

Attention 的機(jī)制是希望動態(tài)確定一個 token，跟其它的 token  之間的Dependency，self-attention是說所有的 token 產(chǎn)生對所有 token 的 Dependency，如果用 Fix convolution kernel 的話，這種  Dependency是固定的，如果用最簡單的Dynamic，就是從一個 token 去產(chǎn)生一個肯定的結(jié)果肯定是非常難的，因為語義上有很多歧義，比如說一個 Apple，它有可能是一個品牌，也可能是一個真實的水果，如果純粹從一個 token  出發(fā)，它非常難把真正的Dependency 展示出來，我們用 一個token 和一個周圍的token去預(yù)測 Local Dependency，于是就得到了新的這種結(jié)構(gòu)。

實驗表明，F(xiàn)ix convolution kernel肯定是最差的，我們這種效果有很好的提升。

另外一個維度，如果兩者融合，它的效果肯定會更好。于是我們把它融合在一起，融合在一起之后會發(fā)現(xiàn)一個很有意思的事情，在有 Convolution 的情況下，在新的模型里面，self-attention模塊就會轉(zhuǎn)向真的去刻畫 Global Dependency。把它們真正地用更細(xì)致的實驗去跑這些模型，你會發(fā)現(xiàn)正因為有這種 Global 和local模塊 的加入，我們能夠用 1/10 的訓(xùn)練的時間和 1/6 的參數(shù)，就能獲得跟原來的模型獲得一樣的精度，這種機(jī)制就可以讓更多的學(xué)者用更少的時間能夠去探索 Language model 的訓(xùn)練，對于這個領(lǐng)域的發(fā)展來說，我覺得也是非常重要的。

在芯片這個維度，我們主要想分享幾個我們的觀點和最近的進(jìn)展。

有很多人最近經(jīng)常要回答的一個問題是，算法、算力和數(shù)據(jù)在工業(yè)界來說到底哪一個是最重要的，毫無疑問，如果從科學(xué)的角度來說，肯定只有算法是最重要的，沒有它的不斷地探索，我們不可能讓整個領(lǐng)域往前推動。

但是從工業(yè)界來說，特別是在當(dāng)前這個階段，算力已經(jīng)變得越來越重要，一方面是因為智能密度的提升，更多的傳感器和數(shù)據(jù)是要被處理。這時候需要的算力會大幅度增加。另外一個非常重要的原因是我們處在一個從感知智能向決策智能躍遷的階段，我們會對感知智能的精度要求更高，我們要對解釋對象的數(shù)量大幅的提升，以及對象之間的關(guān)系也會大幅的提升，這時候合在一起，對算力的要求會是一個指數(shù)級的增加。

另外一個維度，大家都探索過對模型的訓(xùn)練，它所需要的算力，已經(jīng)不是原來的摩爾時代的那種速度，已經(jīng)是每三個多月的時間就會翻一番。很顯然，我們已經(jīng)進(jìn)入到一個算力霸權(quán)的時代，GPT-3 前面已經(jīng)講過，我們就看計算機(jī)視覺這個領(lǐng)域，最近一個方向是自我訓(xùn)練，當(dāng)我們想要得到一個非常有效的模型，已經(jīng)需要用 2000  多塊 TPU core 訓(xùn)練 6 天的時間，用網(wǎng)上的報價來算，需要 13 萬美金才能訓(xùn)練一個模型，這對學(xué)術(shù)界來說也是一個非常巨大的挑戰(zhàn)。

當(dāng)我們把訓(xùn)練和價格放在一起思考的時候，需要考慮如何大規(guī)模的降低算力的成本。在算力霸權(quán)的情況下，我們真的要回答 AI 的終局是什么，比如說自然語言能達(dá)到什么樣的程度，這時候一定要打造自己的AI芯片。

前面提到依圖 AI 芯片設(shè)計的理念是“算法即芯片”，在這里我想再用一個齒輪的圖形給大家清晰理解“算法即芯片”的意義是什么。當(dāng)我們確定了幾個典型的應(yīng)用場景，它足夠大、足夠消化這款芯片，我們就會知道有哪些算法，以及這些算法就能夠拆解出它的算子出來，如果我們的 AI 芯片對于這些算子的頻率做了一個分析，然后做了一個設(shè)計上的優(yōu)化和設(shè)計之后，當(dāng)一個算法跑起來，AI 芯片里面相應(yīng)的算子就會被啟動，當(dāng)另外一部分算法跑起來，另外一部分算子就會被啟動，這樣它的算子的冗余和利用率，就會根據(jù)我們的場景和算法有一個相互的優(yōu)化和協(xié)同的開發(fā)，它的效能肯定是最好的。

依圖基于這種理念，在 2019 年 5 月份發(fā)布了第一款芯片叫求索芯片，這款芯片發(fā)布即商用，發(fā)布這款芯片的時候，直接就在現(xiàn)場拉了 200 路視頻，把我們的 AI 芯片做成 AI 服務(wù)器，實時的做推理和分析。

這款芯片是由云端和邊緣端視覺推理的芯片，它具備了 AI 的端到端的能力。具體來說，跟發(fā)布時市面最典型的解決方案相比，單路視頻的功耗能降到 1/5 到 1/10，單位面積芯片也有相應(yīng)的優(yōu)勢，這樣對于大大地降低用戶最終的購買和使用成本，這個價值是非常不錯的。

基于依圖的高效能 AI 的算法，大家可能理解的比較多的是依圖的人臉識別的算法，其實依圖在 Re-ID 維度落地也非常不錯，再加上依圖的求索芯片在一起，我們打造 AI 的解決方案，相應(yīng)的硬件包括云端的服務(wù)器和邊緣盒子，分別應(yīng)用于不同的場景，對應(yīng)剛才陳老師的說法，右邊的放在邊緣計算，左邊的放在云端計算。

這些一體化的解決方案，已經(jīng)用來解鎖不同的場景，依圖解鎖場景有兩種方式，一種方式是用精度的極限，比如說在福州和貴陽用刷臉乘地鐵的方案，是因為人臉識別的精度已經(jīng)非常高，能夠滿足這種場景的應(yīng)用。

另外一些場景要解鎖是要解鎖用戶買得起，比如說城市級的智慧城市解決方案，在這種情況下，你可能要處理的視頻路數(shù)是 10 萬到 50 萬路，只有當(dāng) AI 的芯片和 AI 算法柔和在一起，才可能打造出一個可用的解決方案。

最后做一個簡短的總結(jié)，依圖會在芯智能這條路上不斷地深耕，不斷地提升算法的效能和芯片的效能，通過協(xié)同開發(fā)的形式，我們期望為新基建提供更高效能的芯智能的解決方案。謝謝大家。

問答環(huán)節(jié)

主持人：謝謝顏水成的精彩演講。下面是提問環(huán)節(jié)。

提問：你說算法和硬件你是聯(lián)合考慮的，如果說把硬件和算法解耦出來，讓其它公司的算法跑進(jìn)去，也能有這么高的效率嗎？這是第一個問題。第二個問題，你剛才講 AI 芯片的設(shè)計，你是面向具體的應(yīng)用場景的，你的 PPT 里面講了有語音的，也有視覺的，是不是你們的芯片在語音和視覺方面都做了很好的優(yōu)化？

顏水成：第一個問題，我們講了要對不同場景常見的算法以及它未來的趨勢做預(yù)測，意味著我們在預(yù)測的時候，其實已經(jīng)把其它的算法廠商可能的算法的特點考慮進(jìn)來了，所以這款芯片是能保證算法和芯片是解耦的，也就是說這款芯片也能夠讓第三方廠家的算法在上面能夠跑得不錯。為了保障它跑得不錯，因為我們有一些算子肯定是優(yōu)化得比另外一些算子更好，所以一般的情況下，我們都會提供一個平臺，讓第三方的廠家可以根據(jù)這個平臺去Re-Design，或者是用NAS的方式自動搜索它的模型的結(jié)構(gòu)，以便更好地適應(yīng)芯片上的特點。

第二個問題，我們這款芯片最初的目的是用于云和邊的視覺推理，但是因為我們有相應(yīng)的算子的支持，其實依圖也做語音識別，而且做得也不錯，落地的地方也不少，我們發(fā)現(xiàn)對我們的語音識別的算法，對有些算子稍作調(diào)整，語音識別的算法也是可以跑在這款芯片里面。

提問：這兩個應(yīng)用完全不一樣，單比特的算力，視覺類和語音類差距比較大。

顏水成：是，所以我們定的目標(biāo)是視覺類的，但是當(dāng)語音的數(shù)據(jù)量并不是非常大的時候，當(dāng)然我們也希望有，在這里面跑也是可以的。

提問：視覺類的算法邊界也是很大的，場景也是很多的，是不是像檢測、跟蹤、語義分割，包括行為分析都可以？

顏水成：這是肯定的，因為你是用幾個場景來定義這款芯片的，在幾個場景下，你所用到的常規(guī)的算法肯定是一定要全部包含的。

主持人：再次謝謝水成。

溫馨提示：

大會現(xiàn)場票已罄，應(yīng)觀眾強烈需求，現(xiàn)新增少許第三天 7 個專場通票，請于 8 月 8 號 23:00 前申請搶座：微信打開https://gair.leiphone.com/gair/free/s/5f28d5ae607bf  一鍵獲取。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。