“我們的AI芯片設(shè)計(jì)出來(lái)了，但是沒(méi)多少人能用起來(lái)。”這是兩三年前端側(cè)AI芯片CEO們的煩惱。

“面對(duì)十多款端側(cè)AI芯片，選型就是一個(gè)難題。”一位AI應(yīng)用的開發(fā)者在2022年依舊面對(duì)的難題是，“即便最終做了選擇，面對(duì)上千頁(yè)的開發(fā)手冊(cè)，學(xué)習(xí)和開發(fā)門檻都很高?！?/p>

與云端AI面臨的挑戰(zhàn)類似，邊緣和端側(cè)AI軟硬件的成熟度以及軟硬的融合很大程度上阻礙了AI的普及，降低AI開發(fā)門檻，提升通用性成為了AI普及的當(dāng)務(wù)之急。

當(dāng)然，技術(shù)挑戰(zhàn)還不是卡住端側(cè)和邊緣AI普及的唯一原因，商業(yè)層面也面臨諸多挑戰(zhàn)，比如應(yīng)用場(chǎng)景眾多，如何在眾多的應(yīng)用場(chǎng)景中形成一個(gè)良好的商業(yè)閉環(huán)？如何讓傳統(tǒng)行業(yè)也能輕松用上AI技術(shù)？

這其中，非常關(guān)鍵的一點(diǎn)就是提供打動(dòng)消費(fèi)者的使用體驗(yàn)。曾經(jīng)火爆一時(shí)的智能音箱已經(jīng)證明，不佳的使用體驗(yàn)只會(huì)讓消費(fèi)者迅速對(duì)新技術(shù)感到失望。要實(shí)現(xiàn)良好的AI產(chǎn)品用戶體驗(yàn)，多傳感器融合以及多種AI技術(shù)的應(yīng)用成為了未來(lái)的發(fā)展方向。

那么，云邊協(xié)同能否加速端側(cè)AI普及？

端側(cè)AI的三道檻

在智能音箱爆發(fā)的2018年，智能音箱里并沒(méi)有用于實(shí)現(xiàn)AI功能的專用芯片，AI的算法也并不成熟，再加上整個(gè)行業(yè)的低價(jià)惡性競(jìng)爭(zhēng)，體驗(yàn)不佳的智能音箱讓眾多嘗鮮者很快放棄了這一AI“爆品”。

智能音箱非常好地反映出了端側(cè)AI普及面臨硬件、算法以及應(yīng)用需求多樣的三道檻。

這一次AI的浪潮得益于深度學(xué)習(xí)技術(shù)的發(fā)展，新的AI算法對(duì)算力提出了更高要求，促進(jìn)了眾多設(shè)計(jì)專用AI芯片公司的誕生，2016年左右涌現(xiàn)了大量AI芯片公司，這些公司的產(chǎn)品在2018年左右陸續(xù)推出。

2018年推出全球第一顆量產(chǎn)RISC-V商用邊緣AI芯片，并出貨了上百萬(wàn)顆芯片，2021年推出第二代AI芯片勘智K510的嘉楠科技對(duì)于AI的發(fā)展和應(yīng)用頗有感觸。

嘉楠科技副總裁湯煒偉對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))表示，“我們的第二代勘智K510的AI算力已經(jīng)達(dá)到3TOPS，AI的硬件正在通過(guò)迭代成熟，工具鏈依舊有比較多的挑戰(zhàn)?！?/p>

芯片的工具鏈很長(zhǎng)，大體上可以分為前端和后端，前端的工具鏈主要做算法的優(yōu)化，比如壓縮、融合等，后端的工具主要負(fù)責(zé)調(diào)用芯片。

運(yùn)行于芯片上的算法，則是邊緣和端側(cè)AI普及的第二道檻。

“針對(duì)端側(cè)AI的算法太少，這直接導(dǎo)致了許多AI硬件沒(méi)辦法用起來(lái)?！币晃籄I從業(yè)者如此看待AI算法與AI普及的關(guān)系。

湯煒偉認(rèn)為，“這個(gè)說(shuō)法有道理，但不全面，算法肯定是影響最終效果和體驗(yàn)的因素，但算法不夠好可能是因?yàn)閼?yīng)用場(chǎng)景太小沒(méi)人愿意投入，或者那個(gè)場(chǎng)景的數(shù)據(jù)難以獲取，增加了算法提升的難度?！?/p>

“AI算法從實(shí)驗(yàn)室環(huán)境到實(shí)際應(yīng)用有非常多的挑戰(zhàn)，在真實(shí)場(chǎng)景中AI算法很容易受到各種環(huán)境的影響。我認(rèn)為邊緣側(cè)AI的算法可以分為三類。”湯煒偉表示。

一類算法是通用算法，比如圖像檢測(cè)和分割算法；一類是場(chǎng)景算法，比如人臉識(shí)別、人體姿態(tài)算法；還有一類是定制算法。

“AI算法的應(yīng)用范圍越窄，在具體的場(chǎng)景中就越精準(zhǔn)，效果更好。但同時(shí)也意味著它可能會(huì)導(dǎo)致用戶群體和體量更小。”湯煒偉認(rèn)為。

邊緣和端側(cè)AI硬件和算法向前迭代的時(shí)候，就會(huì)遇到普及的第三道檻——應(yīng)用多樣，需求不同。

從AI語(yǔ)音到AI視覺(jué)，從單傳感器到多傳感器融合的智能硬件，從工業(yè)到農(nóng)業(yè)再到智能家居，邊緣AI的一大特點(diǎn)就是應(yīng)用場(chǎng)景豐富，不同的應(yīng)用場(chǎng)景對(duì)于芯片的性能和功耗，對(duì)于使用的算法的類型和精度，以及使用的場(chǎng)景都大不相同。此時(shí)，如果有一個(gè)通用的AI解決方案，將有助于AI的普及。

不過(guò)，湯煒偉認(rèn)為，“短期內(nèi)比較難有通用的AI解決方案，因?yàn)锳I的算法還在不斷迭代。另外，端側(cè)和邊緣的AI硬件采用的是ASIC專用芯片，并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，實(shí)現(xiàn)通用的AI解決方案難度比較大?！?/p>

實(shí)際上，邊緣和端側(cè)AI產(chǎn)品的開發(fā)當(dāng)務(wù)之急是解決產(chǎn)品開發(fā)門檻高的問(wèn)題。

云邊協(xié)同是AI普及良藥？

“十幾款可選的AI芯片，每一種芯片的工具鏈都不一樣，學(xué)習(xí)其中一種的門檻就很高，如何才能快速開發(fā)出AI產(chǎn)品？”這是AI開發(fā)者共同的難題。

芯片的選型無(wú)論對(duì)于中小型公司還是大型公司都是一個(gè)挑戰(zhàn)，中小型公司支持兩三個(gè)平臺(tái)就已經(jīng)非常吃力了，大公司有能力投入進(jìn)行細(xì)致篩選，但周期很長(zhǎng)，要選出一個(gè)能夠長(zhǎng)期合作的合作伙伴的難度也很大。

但無(wú)論選擇哪個(gè)硬件平臺(tái)，開發(fā)的門檻客觀存在。因?yàn)槎藗?cè)和邊緣AI設(shè)備的開發(fā)涉及嵌入式開發(fā)的AI開發(fā)，懂嵌入式開發(fā)或者AI開發(fā)的工程師本來(lái)就很少，更別說(shuō)既懂嵌入式又懂AI開發(fā)的人。

這就非?？简?yàn)芯片公司的工具鏈和軟件平臺(tái)，有更加容易上手和高效的工具鏈實(shí)際上是所有AI芯片公司的核心競(jìng)爭(zhēng)力。

“我們做軟件工具鏈的時(shí)候利用了開源的優(yōu)勢(shì)，嘉楠AI芯片的SDK和應(yīng)用實(shí)例的各種軟件都已經(jīng)開源，開源的好處在于新客戶可以直接看詳細(xì)的文檔，大大降低了客戶的使用難度，也降低了我們支持客戶的難度。”湯煒偉說(shuō)，“開源也有利于大家一起協(xié)作創(chuàng)新。”

據(jù)雷峰網(wǎng)了解，一個(gè)公司評(píng)估了市場(chǎng)上四五家AI芯片的產(chǎn)品，最后因?yàn)楣ぞ哝溡约八惴〒p失精度更小選擇了與嘉楠合作。

據(jù)湯煒偉介紹，嘉楠有自己開源工具鏈的溝通群，一群長(zhǎng)期穩(wěn)定做軟件工具鏈的人能夠方便的在群里溝通，反饋問(wèn)題，這對(duì)他們提升工具鏈有很大的幫助。

好用的工具鏈確實(shí)能降低開發(fā)難度，但對(duì)于許多缺乏開發(fā)能力的開發(fā)者，更低門檻的云邊一體的解決方案或許是更優(yōu)的選擇。

“今年上半年，我們合作伙伴的客戶說(shuō)想要做一個(gè)云邊協(xié)同的應(yīng)用，三方一拍即合一起做了一個(gè)大型的AI云邊協(xié)同應(yīng)用?！睖珶槀フf(shuō)。

這是一個(gè)海上漁船監(jiān)測(cè)系統(tǒng)的云邊協(xié)同AI解決方案，海上漁船本來(lái)就裝有一些包括攝像頭在內(nèi)的多種檢測(cè)漁船狀態(tài)的傳感器，會(huì)接入邊緣網(wǎng)關(guān)進(jìn)行數(shù)據(jù)處理，但由于漁船長(zhǎng)期在海上，網(wǎng)絡(luò)信號(hào)并不穩(wěn)定，難以遠(yuǎn)程即時(shí)了解漁船的狀態(tài)，漁船上的傳感器也不能協(xié)同實(shí)現(xiàn)一些智能化的功能。

嘉楠聯(lián)合AWS、智次方和客戶，給每艘漁船安裝上了基于K510的產(chǎn)品作為智能邊緣網(wǎng)關(guān)。有了這個(gè)智能邊緣網(wǎng)關(guān)，漁船上的攝像頭采集的視頻圖像就能借助K510的AI能力，進(jìn)行本地圖像分析處理，對(duì)船員作業(yè)情況進(jìn)行統(tǒng)計(jì)分析和識(shí)別，如果算法模型或者系統(tǒng)有迭代更新，可以在云端方便的控制進(jìn)行更新。

同時(shí)，勘智K510上集成了AWS IoT Greengrass組件，可以簡(jiǎn)化整個(gè)系統(tǒng)的部署和管理，即使整個(gè)系統(tǒng)管理的船只規(guī)模變大，行駛在不同的海域，通過(guò)云端管理平臺(tái)，都能及時(shí)的掌握設(shè)備的運(yùn)行狀態(tài)，實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的整體運(yùn)行情況。

湯煒偉說(shuō)，“傳統(tǒng)的AI應(yīng)用受限于終端的計(jì)算能力和網(wǎng)絡(luò)條件，往往部署在云端，無(wú)論是處理及時(shí)性，還是系統(tǒng)運(yùn)行成本，都有其弊端。隨著技術(shù)的進(jìn)步，采用邊云協(xié)同的方案，可以充分利用云端靈活的管理系統(tǒng)和邊緣端不斷強(qiáng)大的計(jì)算能力，做到魚與熊掌兼得，正成為很多應(yīng)用場(chǎng)景的優(yōu)選方案。”

云邊協(xié)同對(duì)于AI普及更重要的價(jià)值在于，“我們和AWS的合作已經(jīng)搭建好了一套云邊協(xié)同的方案，已經(jīng)提前做好了前期的開發(fā)和測(cè)試，客戶在使用的時(shí)候就像‘搭積木’一樣方便，除了海上漁船的應(yīng)用，有許多客戶也計(jì)劃采用我們的云邊協(xié)同的方案?！睖珶槀ブ赋觥?/p>

云邊協(xié)同的AI解決方案對(duì)于包括像漁船、農(nóng)業(yè)等傳統(tǒng)行業(yè)應(yīng)用AI展現(xiàn)出了極大的價(jià)值，對(duì)于助推邊緣AI的普及，以及推動(dòng)AI在更多領(lǐng)域的創(chuàng)新，都是一個(gè)顯著的推動(dòng)力。

接下來(lái)的問(wèn)題是，端側(cè)AI的機(jī)會(huì)在哪？

下一個(gè)端側(cè)AI的爆款產(chǎn)品

端側(cè)AI的上一個(gè)爆品，還是年出貨量不到5000萬(wàn)的智能音箱。智能音箱之后，一直沒(méi)有看到端側(cè)AI的新爆品。

“端側(cè)AI的競(jìng)爭(zhēng)實(shí)際上非常激烈?！睖珶槀フf(shuō)，“之所以智能音箱之后沒(méi)有現(xiàn)象級(jí)的單品，主要還是出貨量的級(jí)別不夠大，智能手機(jī)一年出貨近14億部，智能音箱高峰時(shí)候一年不到5000萬(wàn)的出貨量，與智能手機(jī)相比差距很大，但相比許多終端AI產(chǎn)品的出貨量已經(jīng)很高?！?/p>

目前看來(lái)，掃地機(jī)器人可能有智能音箱的趨勢(shì)，一年的出貨量可以達(dá)到2000-3000萬(wàn)臺(tái)。

湯煒偉也同時(shí)指出了未來(lái)邊緣和終端AI智能產(chǎn)品的走向，他認(rèn)為未來(lái)許多場(chǎng)景的AI產(chǎn)品不會(huì)只是用單純的視覺(jué)或語(yǔ)音方案，將會(huì)是多傳感器融合的產(chǎn)品，就像現(xiàn)在的智能門鎖一樣，既有指紋識(shí)別，也有人臉識(shí)別，還能用密碼，這將是未來(lái)AI邊緣和AI產(chǎn)品發(fā)展的趨勢(shì)，智能家居的產(chǎn)品也將受益于智能手機(jī)和安防技術(shù)的下沉。

當(dāng)然，更好的云邊協(xié)同，也將讓更多行業(yè)和公司用上AI技術(shù)?！皩?lái)會(huì)有更多行業(yè)或者有應(yīng)用場(chǎng)景的公司加AI能力解決實(shí)際問(wèn)題。比如手機(jī)制造商，他們想做好攝影，就加入AI的算法，實(shí)現(xiàn)了比較多新的AI功能，實(shí)現(xiàn)了差異化?；蛘呶覀兒蛠嗰R遜合作的海上漁船監(jiān)控的解決方案。”湯煒偉說(shuō)。

AI是需要和場(chǎng)景進(jìn)行結(jié)合的技術(shù)，能給傳統(tǒng)的行業(yè)帶來(lái)效率的提升甚至革命性的變革，也能創(chuàng)造全新的應(yīng)用，這一進(jìn)程正在加速。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。