人工智能芯片早已成為芯片巨頭關(guān)注的焦點(diǎn)，早些時(shí)候，Nvidia就宣布將把某些Nvidia的技術(shù)整合到ARM的芯片設(shè)計(jì)中，特別是針對(duì)物聯(lián)網(wǎng)設(shè)備實(shí)現(xiàn)AI的處理器優(yōu)化。雷鋒網(wǎng)消息 ，近日高通推出視覺(jué)智能平臺(tái)，搭載了采用10nm FinFET制程工藝、專門面向IoT的SoC。QCS605和QCS603 SoC集成ISP、高通AI Engine及連接和安全技術(shù)，能為終端側(cè)的攝像頭處理和機(jī)器學(xué)習(xí)提供強(qiáng)大的計(jì)算能力，面向廣泛的物聯(lián)網(wǎng)應(yīng)用。

高通新SoC平臺(tái)如何讓IoT設(shè)備也實(shí)現(xiàn)AI功能？高通IoT產(chǎn)品經(jīng)理Seshu Madhavapeddy為此做了進(jìn)一步解讀。

為什么需要視覺(jué)智能SoC平臺(tái)？

正如20世紀(jì)80年代PC消除了高價(jià)值計(jì)算必須在大型主機(jī)上運(yùn)行，智能物聯(lián)設(shè)備以及支撐這些設(shè)備的芯片正在證明AI計(jì)算也可以在邊緣完成，而非僅僅在云端。越早打破數(shù)據(jù)中心在AI中的獨(dú)特地位，AI能更早和容易被普通終端用戶和開(kāi)發(fā)者所接受。

Madhavapeddy表示新的SoC平臺(tái)為IoT邊緣計(jì)算而設(shè)計(jì)，通過(guò)讓更多地計(jì)算在設(shè)備中進(jìn)行盡可能減少數(shù)據(jù)向遠(yuǎn)程基礎(chǔ)設(shè)施傳輸，讓物聯(lián)網(wǎng)終端變得更加智能。QCS605和QCS603 主要面向智能視覺(jué)領(lǐng)域，應(yīng)用于安防攝像頭、運(yùn)動(dòng)攝像頭、可穿戴攝像頭、虛擬現(xiàn)實(shí)（VR）360度與180度攝像頭、機(jī)器人和智能顯示屏等。

Madhavapeddy進(jìn)一步解釋，之所以要推出新的平臺(tái)是因?yàn)镮oT攝像頭與手機(jī)攝像頭有較大的區(qū)別。首先，與手機(jī)攝像頭不同，IoT攝像頭往往工作在低光照環(huán)境；其次，IoT攝像頭有非常不一樣的圖像穩(wěn)定需求，IoT攝像頭所需的并非模糊不清的快照，而是運(yùn)動(dòng)場(chǎng)景中頭盔上的視頻拍攝，或無(wú)人機(jī)在執(zhí)行任務(wù)過(guò)程中攝像頭的清晰和實(shí)時(shí)反饋。

高通視覺(jué)智能平臺(tái)（Qualcomm Vision Intelligence Platform）

詳解QCS605和QCS603

高通AI Engine

高通新推出的視覺(jué)智能SoC平臺(tái)集成Qualcomm人工智能引擎AI Engine，AI Engine由多個(gè)繼承的硬件和軟件組件組成。包括了驍龍神經(jīng)處理引擎（NPE）軟件框架，其中包含采用TensorFlow、Caffe和Caffe2框架進(jìn)行開(kāi)發(fā)的分析、優(yōu)化與調(diào)試工具，ONNX（Open Neural Network Exchange）交換格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network庫(kù)。AI Engine還包括軟件開(kāi)發(fā)工具包SKD。當(dāng)然，高通希望開(kāi)發(fā)者和OEM廠商能輕松將訓(xùn)練網(wǎng)絡(luò)接入到此平臺(tái)。

基于AI Engine和驍龍神經(jīng)處理引擎軟件框架，視覺(jué)智能平臺(tái)可為深度神經(jīng)網(wǎng)絡(luò)推理提供高達(dá)每秒2.1萬(wàn)億次運(yùn)算（TOPS）的計(jì)算性能。同時(shí)，人工智能引擎也可以優(yōu)化推理，即根據(jù)部署到設(shè)備的機(jī)器學(xué)習(xí)模型對(duì)圖像數(shù)據(jù)進(jìn)行評(píng)分。當(dāng)然，模型訓(xùn)練仍然會(huì)在使用大量GPU具有更強(qiáng)性能的云端進(jìn)行。

視頻特性

Madhavapeddy表示，圖像不僅僅是靜態(tài)的，也有動(dòng)態(tài)的視頻，不過(guò)603和605都具有強(qiáng)勁的視頻性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的視頻流，以及更低分辨率的多個(gè)并發(fā)視頻流。

為了實(shí)現(xiàn)非凡的圖像質(zhì)量，視覺(jué)智能平臺(tái)集成了支持雙1600萬(wàn)像素傳感器的雙14位Qualcomm Spectra 270 ISP。此外，該視覺(jué)智能平臺(tái)包括物聯(lián)網(wǎng)細(xì)分領(lǐng)域所必需的視覺(jué)處理功能，如可防止高動(dòng)態(tài)范圍視頻出現(xiàn)“疊影”效果的交錯(cuò)式HDR（staggered HDR）、電子穩(wěn)像、畸變校正、降噪、色差校正，以及硬件運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波（MCTF）。 

異構(gòu)計(jì)算架構(gòu)

視覺(jué)智能平臺(tái)QCS605芯片組的異構(gòu)計(jì)算架構(gòu)，集成八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器。該視覺(jué)智能平臺(tái)的集成式顯示處理器可為一系列顯示屏提供硬件加速合成、3D覆蓋，以及包括OpenGL、OpenCL和Vulkan在內(nèi)的主流圖形API支持。該架構(gòu)支持多種高級(jí)操作系統(tǒng)，能幫助開(kāi)發(fā)者和制造商在其解決方案中輕松構(gòu)建差異化特性，如VR 360度攝像頭的端側(cè)內(nèi)容拼接，自主機(jī)器人導(dǎo)航與避障，以及運(yùn)動(dòng)攝像頭的視頻摘要。

QCS603和605都集成Adreno GPU、多核Kryo CPU、和Hexagon 685向量處理器以及高通AI Engine，都屬于為電池供電產(chǎn)品設(shè)計(jì)的低功耗產(chǎn)品。對(duì)比而言，605是8核CPU，603是雙核CPU， 603的運(yùn)行功率更低、芯片更小，以更低的規(guī)格實(shí)現(xiàn)更多的功能。

Wi-Fi、音頻、安全特性

據(jù)雷鋒網(wǎng)了解，高通視覺(jué)智能平臺(tái)都板載Wi-Fi，605具備MU-MIMO和雙頻并發(fā)特性的2x2 802.11ac Wi-Fi、603具備1x1 802.11ac Wi-Fi。

音頻方面，支持Qualcomm 3D音頻套件、Qualcomm Aqstic音頻技術(shù)和Qualcomm aptX音頻。該平臺(tái)還具備Qualcomm噪音抑制與回音消除技術(shù)，以終端側(cè)音頻分析與處理特性，支持自然語(yǔ)言處理、音頻語(yǔ)音識(shí)別和語(yǔ)音插播功能，打造可靠的語(yǔ)音界面，甚至在吵鬧或嘈雜的環(huán)境，或當(dāng)用戶遠(yuǎn)離終端時(shí)也可實(shí)現(xiàn)。

視覺(jué)智能平臺(tái)基于硬件的安全特性可通過(guò)下列功能支持可靠的物聯(lián)網(wǎng)終端，包括硬件可信根的安全啟動(dòng)、可信執(zhí)行環(huán)境、硬件加密引擎、存儲(chǔ)安全、貫穿生命周期控制的調(diào)試安全、密鑰分發(fā)和無(wú)線協(xié)議安全等。

雷鋒網(wǎng)報(bào)道 via ZDNet

相關(guān)文章：

高通AI產(chǎn)品主管：AI重要的是給用戶帶來(lái)改變，而不是簡(jiǎn)單的兩個(gè)字母

三星發(fā)布首款 AI 處理器 Exynos 8610：對(duì)標(biāo)高通驍龍 700 系

高通搶占人工智能生態(tài)入口 投資包括商湯摩拜在內(nèi)9家中國(guó)公司

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。