人工智能芯片早已成為芯片巨頭關注的焦點，早些時候，Nvidia就宣布將把某些Nvidia的技術整合到ARM的芯片設計中，特別是針對物聯(lián)網設備實現(xiàn)AI的處理器優(yōu)化。雷鋒網消息 ，近日高通推出視覺智能平臺，搭載了采用10nm FinFET制程工藝、專門面向IoT的SoC。QCS605和QCS603 SoC集成ISP、高通AI Engine及連接和安全技術，能為終端側的攝像頭處理和機器學習提供強大的計算能力，面向廣泛的物聯(lián)網應用。

高通新SoC平臺如何讓IoT設備也實現(xiàn)AI功能？高通IoT產品經理Seshu Madhavapeddy為此做了進一步解讀。

為什么需要視覺智能SoC平臺？

正如20世紀80年代PC消除了高價值計算必須在大型主機上運行，智能物聯(lián)設備以及支撐這些設備的芯片正在證明AI計算也可以在邊緣完成，而非僅僅在云端。越早打破數(shù)據(jù)中心在AI中的獨特地位，AI能更早和容易被普通終端用戶和開發(fā)者所接受。

Madhavapeddy表示新的SoC平臺為IoT邊緣計算而設計，通過讓更多地計算在設備中進行盡可能減少數(shù)據(jù)向遠程基礎設施傳輸，讓物聯(lián)網終端變得更加智能。QCS605和QCS603 主要面向智能視覺領域，應用于安防攝像頭、運動攝像頭、可穿戴攝像頭、虛擬現(xiàn)實（VR）360度與180度攝像頭、機器人和智能顯示屏等。

Madhavapeddy進一步解釋，之所以要推出新的平臺是因為IoT攝像頭與手機攝像頭有較大的區(qū)別。首先，與手機攝像頭不同，IoT攝像頭往往工作在低光照環(huán)境；其次，IoT攝像頭有非常不一樣的圖像穩(wěn)定需求，IoT攝像頭所需的并非模糊不清的快照，而是運動場景中頭盔上的視頻拍攝，或無人機在執(zhí)行任務過程中攝像頭的清晰和實時反饋。

高通視覺智能平臺（Qualcomm Vision Intelligence Platform）

詳解QCS605和QCS603

高通AI Engine

高通新推出的視覺智能SoC平臺集成Qualcomm人工智能引擎AI Engine，AI Engine由多個繼承的硬件和軟件組件組成。包括了驍龍神經處理引擎（NPE）軟件框架，其中包含采用TensorFlow、Caffe和Caffe2框架進行開發(fā)的分析、優(yōu)化與調試工具，ONNX（Open Neural Network Exchange）交換格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network庫。AI Engine還包括軟件開發(fā)工具包SKD。當然，高通希望開發(fā)者和OEM廠商能輕松將訓練網絡接入到此平臺。

基于AI Engine和驍龍神經處理引擎軟件框架，視覺智能平臺可為深度神經網絡推理提供高達每秒2.1萬億次運算（TOPS）的計算性能。同時，人工智能引擎也可以優(yōu)化推理，即根據(jù)部署到設備的機器學習模型對圖像數(shù)據(jù)進行評分。當然，模型訓練仍然會在使用大量GPU具有更強性能的云端進行。

視頻特性

Madhavapeddy表示，圖像不僅僅是靜態(tài)的，也有動態(tài)的視頻，不過603和605都具有強勁的視頻性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的視頻流，以及更低分辨率的多個并發(fā)視頻流。

為了實現(xiàn)非凡的圖像質量，視覺智能平臺集成了支持雙1600萬像素傳感器的雙14位Qualcomm Spectra 270 ISP。此外，該視覺智能平臺包括物聯(lián)網細分領域所必需的視覺處理功能，如可防止高動態(tài)范圍視頻出現(xiàn)“疊影”效果的交錯式HDR（staggered HDR）、電子穩(wěn)像、畸變校正、降噪、色差校正，以及硬件運動補償時域濾波（MCTF）。 

異構計算架構

視覺智能平臺QCS605芯片組的異構計算架構，集成八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器。該視覺智能平臺的集成式顯示處理器可為一系列顯示屏提供硬件加速合成、3D覆蓋，以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支持。該架構支持多種高級操作系統(tǒng)，能幫助開發(fā)者和制造商在其解決方案中輕松構建差異化特性，如VR 360度攝像頭的端側內容拼接，自主機器人導航與避障，以及運動攝像頭的視頻摘要。

QCS603和605都集成Adreno GPU、多核Kryo CPU、和Hexagon 685向量處理器以及高通AI Engine，都屬于為電池供電產品設計的低功耗產品。對比而言，605是8核CPU，603是雙核CPU， 603的運行功率更低、芯片更小，以更低的規(guī)格實現(xiàn)更多的功能。

Wi-Fi、音頻、安全特性

據(jù)雷鋒網了解，高通視覺智能平臺都板載Wi-Fi，605具備MU-MIMO和雙頻并發(fā)特性的2x2 802.11ac Wi-Fi、603具備1x1 802.11ac Wi-Fi。

音頻方面，支持Qualcomm 3D音頻套件、Qualcomm Aqstic音頻技術和Qualcomm aptX音頻。該平臺還具備Qualcomm噪音抑制與回音消除技術，以終端側音頻分析與處理特性，支持自然語言處理、音頻語音識別和語音插播功能，打造可靠的語音界面，甚至在吵鬧或嘈雜的環(huán)境，或當用戶遠離終端時也可實現(xiàn)。

視覺智能平臺基于硬件的安全特性可通過下列功能支持可靠的物聯(lián)網終端，包括硬件可信根的安全啟動、可信執(zhí)行環(huán)境、硬件加密引擎、存儲安全、貫穿生命周期控制的調試安全、密鑰分發(fā)和無線協(xié)議安全等。

雷鋒網報道 via ZDNet

相關文章：

高通AI產品主管：AI重要的是給用戶帶來改變，而不是簡單的兩個字母

三星發(fā)布首款 AI 處理器 Exynos 8610：對標高通驍龍 700 系

高通搶占人工智能生態(tài)入口 投資包括商湯摩拜在內9家中國公司

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。