傳統(tǒng)攝像頭正朝著更高幀率、更大分辨率的方向發(fā)展，多傳感器融合也被行業(yè)定義為自動(dòng)駕駛實(shí)現(xiàn)的必經(jīng)之路，這帶來(lái)的是越來(lái)越大的數(shù)據(jù)量。多數(shù)軟件芯片公司還在尋找如何快速準(zhǔn)確處理大量數(shù)據(jù)的最佳方式，而芯侖科技卻將精力放在機(jī)器視覺(jué)的數(shù)據(jù)之源——前端攝像頭。

11月28日，芯侖科技創(chuàng)始人兼首席科學(xué)家陳守順教授出席合肥高新區(qū)舉辦2018全球物聯(lián)網(wǎng)創(chuàng)新峰會(huì)，進(jìn)行了關(guān)于《顛覆性的物聯(lián)網(wǎng)感知方案——?jiǎng)討B(tài)視覺(jué)傳感器》的主題演講。

打破常規(guī)的 CMOS 圖像傳感器和圖像處理算法，從博士時(shí)代開(kāi)始探究動(dòng)態(tài)視覺(jué)傳感器的陳守順，將這項(xiàng)技術(shù)應(yīng)用到自動(dòng)駕駛創(chuàng)業(yè)中。2012年，陳守順做出第一款動(dòng)態(tài)視覺(jué)傳感器芯片；2015年，其帶領(lǐng)團(tuán)隊(duì)在新加坡成立Hillhouse Technology；兩年后的夏天，團(tuán)隊(duì)回國(guó)，公司重新命名為上海芯侖光電科技有限公司。當(dāng)初的視覺(jué)傳感器芯片經(jīng)過(guò)多輪產(chǎn)品迭代，目前已經(jīng)演進(jìn)至第五代CeleX-V（100萬(wàn)像素，車規(guī)級(jí)）。

動(dòng)態(tài)視覺(jué)傳感器路徑上的供應(yīng)商為數(shù)不多，芯侖與瑞士的Inilabs、法國(guó)的Prophesee、三星（licensed IP）屬于同一隊(duì)列。專注汽車行業(yè)的法國(guó)咨詢公司YOLE曾將動(dòng)態(tài)視覺(jué)傳感器定義為L(zhǎng)4和L5級(jí)別的自動(dòng)駕駛必不可少的傳感器之一。

CeleX?動(dòng)態(tài)視覺(jué)傳感器

傳統(tǒng)攝像頭提供某一時(shí)刻的平面圖象，工作方式大致經(jīng)過(guò)重置電荷累計(jì)、曝光、輸出三個(gè)階段。電荷量根據(jù)輸入光的強(qiáng)度發(fā)生變化，其將捕捉到的光學(xué)信息（包括采集點(diǎn)的灰度和顏色）轉(zhuǎn)化成數(shù)字信號(hào)，實(shí)現(xiàn)場(chǎng)景的還原。陳守順提到傳統(tǒng)傳感器在數(shù)據(jù)獲取方面依舊存在以下問(wèn)題：

• 不連續(xù)的數(shù)據(jù)獲?。簜鹘y(tǒng)傳感器并非連續(xù)曝光，采集存在間隔，攝像頭僅在曝光階段觀察世界，不曝光時(shí)是不看東西的，這造成對(duì)物體的追蹤存在盲區(qū)，丟失了大量物體運(yùn)動(dòng)信息，為后端圖像處理算法帶來(lái)問(wèn)題；

• 無(wú)運(yùn)動(dòng)的區(qū)域持續(xù)輸出無(wú)效的冗余數(shù)據(jù)；

• 快速運(yùn)動(dòng)場(chǎng)景下存在圖像模糊；

• 計(jì)算資源浪費(fèi)。

芯侖采用動(dòng)態(tài)視覺(jué)傳感器（DVS）解決上述問(wèn)題。基于新型的仿生動(dòng)態(tài)圖像傳感器芯片技術(shù)，芯侖研發(fā)出CeleX?動(dòng)態(tài)視覺(jué)傳感器。陳守順提到，CeleX傳感器的每個(gè)像素都能連續(xù)的單獨(dú)監(jiān)測(cè)光強(qiáng)的波動(dòng)，并在達(dá)到閾值時(shí)激發(fā)事件從而被讀出。

雷鋒網(wǎng)新智駕了解到，面對(duì)快速運(yùn)動(dòng)的像素點(diǎn)，常規(guī)傳感器存在固定幀率、曝光概念，無(wú)法準(zhǔn)確捕捉完美的運(yùn)動(dòng)點(diǎn)。如上圖所示，常規(guī)傳感器拍攝到的多為一段小條，且存在間斷。不同于傳統(tǒng)CMOS圖像傳感器，動(dòng)態(tài)視覺(jué)傳感器沒(méi)有曝光、幀率概念，沒(méi)有閑置時(shí)間，CeleX動(dòng)態(tài)視覺(jué)傳感器為連續(xù)三維的點(diǎn)云，在X、Y、T空間內(nèi)對(duì)物體運(yùn)動(dòng)軌跡進(jìn)行連續(xù)標(biāo)注，包含像素點(diǎn)運(yùn)動(dòng)位置、時(shí)間信息，且時(shí)間坐標(biāo)可以精確到納秒級(jí)。

陳守順將動(dòng)態(tài)視覺(jué)傳感器喻為“敵不動(dòng)、我不動(dòng)”，其每一個(gè)像素點(diǎn)可進(jìn)行獨(dú)立的運(yùn)算，在且僅在像素點(diǎn)發(fā)生光強(qiáng)變化時(shí)進(jìn)行數(shù)據(jù)輸出，產(chǎn)生較低的數(shù)據(jù)率。即對(duì)于機(jī)器視覺(jué)而言，物體沒(méi)有變化時(shí)不產(chǎn)生數(shù)據(jù)流傳輸，傳感器僅對(duì)有效的像素點(diǎn)進(jìn)行記錄，從而剔除冗余數(shù)據(jù)。

由于像素點(diǎn)單獨(dú)獲取數(shù)據(jù)，并以對(duì)數(shù)方式進(jìn)行光電信號(hào)的轉(zhuǎn)換，不再受傳統(tǒng)的成像參數(shù)（曝光時(shí)間、白平衡等）影響，CeleX在高動(dòng)態(tài)范圍方面表現(xiàn)更好。在特殊場(chǎng)景如隧道出入瞬間，傳感器不受光照劇烈變化影響，可以做到場(chǎng)景及運(yùn)動(dòng)物體全部清晰，這對(duì)自動(dòng)駕駛的意義很大。

鑒于動(dòng)態(tài)視覺(jué)傳感器中，芯片的輸出數(shù)據(jù)不受幀率影響，運(yùn)動(dòng)頻繁的點(diǎn)讀出次數(shù)會(huì)相應(yīng)增多，因此可以完整記錄下打壁球等物體運(yùn)動(dòng)的過(guò)程。

CeleX傳感器對(duì)數(shù)據(jù)進(jìn)行高速采集，相當(dāng)于每秒幾十萬(wàn)幀，像素點(diǎn)的時(shí)間分辨率為5納秒，動(dòng)態(tài)范圍超過(guò)120dB。同時(shí)具備兼容性，CeleX也能提供傳統(tǒng)圖像傳感器的全副畫面，可以兼容使用基于全幅圖像的算法，并能在傳感器芯片上進(jìn)行光流運(yùn)算，提供全分辨率運(yùn)動(dòng)矢量信息。

CeleX片上光流模式

陳守順著重提到一點(diǎn)，CeleX動(dòng)態(tài)視覺(jué)傳感器輸出類似于激光點(diǎn)云，包含三種輸出碼流方式：

圖片模式：和傳統(tǒng)圖像傳感器一致的全幅圖像，兼容傳統(tǒng)圖像處理算法和硬件；

動(dòng)態(tài)模式：通過(guò)對(duì)自然光強(qiáng)變化的判定輸出仿生的動(dòng)態(tài)特征脈沖信號(hào)（X、Y、A、T）；

光流模式：芯侖獨(dú)有的密集光流模式，無(wú)需降維，從芯片上得到光流向量場(chǎng)信息，直接輸出全分辨率運(yùn)動(dòng)矢量信息（方向和速度），無(wú)需后期算法處理。

這也正是芯侖同其它家動(dòng)態(tài)視覺(jué)技術(shù)方案解決商的一大不同之處。動(dòng)態(tài)視覺(jué)傳感路徑上共有四家公司：瑞士的Inilabs、法國(guó)的Prophesee、三星（licensed IP）及芯侖科技。芯侖最大的優(yōu)勢(shì)在于具備三種輸出數(shù)據(jù)格式：動(dòng)態(tài)模式、圖像模式及光流模式。Inilabs、Prophesee僅具備前兩種輸出模式。

雷鋒網(wǎng)新智駕了解到，通過(guò)傳統(tǒng)傳感器計(jì)算光流非常消耗資源，而CeleX全幅密集光流模式能在芯片采樣層級(jí)上就能實(shí)現(xiàn)。CeleX通過(guò)靈活利用三種數(shù)據(jù)流對(duì)算法進(jìn)行優(yōu)化，其算法復(fù)雜程度在很多場(chǎng)景下能降級(jí)上千倍。

車內(nèi)駕駛員監(jiān)控和駕駛輔助系統(tǒng)（ADAS）

芯侖將自己定義為機(jī)器視覺(jué)系統(tǒng)解決方案提供商，CeleX作為一種平臺(tái)化技術(shù)，根據(jù)不同的應(yīng)用場(chǎng)景和市場(chǎng)需求，芯侖提供芯片、技術(shù)授權(quán)或終端解決方案。面向車載領(lǐng)域，CeleX應(yīng)用到車內(nèi)駕駛員監(jiān)控（DMS）和駕駛輔助系統(tǒng)（ADAS）兩大場(chǎng)景。

芯侖選擇從后市場(chǎng)切入，基于動(dòng)態(tài)視覺(jué)芯片實(shí)現(xiàn)駕駛員監(jiān)控，進(jìn)行眼睛眨動(dòng)及面部肌肉的變化情況識(shí)別，同樣輸出三種碼流。芯侖目前同物流車隊(duì)合作進(jìn)行駕駛員監(jiān)控產(chǎn)品測(cè)試。

芯侖ADAS產(chǎn)品車外ADAS相關(guān)，陳守順提到，跟傳統(tǒng)的攝像頭技術(shù)路徑相比，其傳感器從感知到芯片組信號(hào)處理輸出，再到控制指令輸出環(huán)節(jié)速度節(jié)省幾百毫秒。對(duì)于一臺(tái)時(shí)速120公里/小時(shí)的行駛車輛而言，CeleX方案將節(jié)省5米制動(dòng)距離。

雷鋒網(wǎng)新智駕了解到，專注汽車行業(yè)的法國(guó)咨詢公司YOLE將動(dòng)態(tài)視覺(jué)傳感器定義為L(zhǎng)4和L5級(jí)別的自動(dòng)駕駛必不可少的傳感器之一。自動(dòng)駕駛量產(chǎn)前夜，在ADAS 市場(chǎng)掀起小風(fēng)浪的動(dòng)態(tài)視覺(jué)傳感器又能否助力更高級(jí)別自動(dòng)駕駛呢？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。