0
| 本文作者： 劉路遙 | 2023-06-26 10:34 |
具備夜視能力的攝像機，可以打破晝夜限制，識別夜間無法辨別的目標，提高夜間工作的能力，目前已落地到安防、交通管理、環(huán)保監(jiān)測、夜景拍攝、戶外探險等場景。
當前，市場上夜視相機的極限光照度基本在0.01Lux。
照度（Lux)，指單位面積上接收到的可見光的光通量，是衡量環(huán)境光的亮度單位?！白畹驼斩取狈从车氖菙z像機可以在多黑的環(huán)境下仍能看到物體。
然而，受到硬件發(fā)展的制約，視覺成像系統(tǒng)的成像效果已接近天花板。但在一些特定場景下，市場需求達到了0.001Lux及以下的星光級。
在未來較長一段時間內(nèi)，通過硬件實現(xiàn)最低光照度從0.1Lux到0.001lux的跳升，困難極大。
并且，隨著復(fù)雜場景和圖像處理要求的提高，傳統(tǒng)ISP在暗光條件下的降噪、對比度增強和暗光提亮方面的局限性，已經(jīng)越來越明顯。
2018年，英特爾實驗室發(fā)表論文《Learning to see in the dark》，提供了一條新的路徑，其通過深度學習算法打造全新AI-ISP成像體系的思路，成為時下提升光照度的主流。
在AI-ISP技術(shù)出現(xiàn)前，夜視領(lǐng)域的玩家們更多在硬件上想辦法，實現(xiàn)更低的照度。
索尼是感光芯片領(lǐng)域的最強玩家，上世紀90年代便已進入低照度全彩夜視領(lǐng)域，并且是背照式、堆棧式CMOS圖像傳感器的率先研發(fā)者。
索尼主要針對感光芯片進行工藝上的改進，核心思路是不斷減少電路所占的面積，同時增加感光芯片的感光面積。硬件上，索尼做出不少努力，比如推出全畫幅感光芯片。
但即便是索尼，將低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux，也花費了五年時間。使用的最高端的全畫幅感光芯片，售價高達上萬塊錢。
材料學及制造工藝難以突破，硬件制約下的視覺成像系統(tǒng)，成像效果已接近天花板。
短期內(nèi)，通過硬件提升光照度，難度顯而易見，在軟件上進行探索，則能打開局面。
2018年，英特爾實驗室針對這一世界級難題，提出可以通過整個神經(jīng)網(wǎng)絡(luò)實現(xiàn)ISP的全部功能。
ISP（圖像處理芯片）類似人腦的視覺處理中樞，當我們想要看到這個世界的時候，大腦中幾百億個神經(jīng)元鏈接就會開始工作。AI-ISP相當于將人類復(fù)雜的視覺神經(jīng)網(wǎng)絡(luò)在攝像機中實現(xiàn)，為攝像機提供一個新的大腦。
ISP作為一系列圖像處理算法的集合，負責完成從sensor RAW到圖像RGB數(shù)據(jù)的轉(zhuǎn)換，過程包括各種矯正、去噪、轉(zhuǎn)換和增強等環(huán)節(jié)。
然而，隨著復(fù)雜場景越來越多，圖像處理要求越來越高，傳統(tǒng)ISP在暗光條件下的降噪、對比度增強和暗光提亮方面，局限性越來越明顯。
由于傳統(tǒng)ISP通常采用硬件實現(xiàn)，不斷擴充的參數(shù)庫，帶來調(diào)試上的困難，整體開發(fā)周期逐步拉長。
而以AI技術(shù)為輔助，通過深度學習海量場景和數(shù)據(jù)，輸出算法模型，對圖像進行精準處理，則可以在某些場景大幅改善傳統(tǒng)ISP的成像效果。
得到端側(cè)大算力的支持后，這種全新的ISP成像體系，突破了傳統(tǒng)ISP圖像處理體系的硬件限制。
作為解決低照度下實時全彩夜視這一難題的一劑良方，AI-ISP的技術(shù)成果，已經(jīng)落地到了安防、礦井、石油、自動駕駛、無人機等場景。
目前，國外的索尼、豪威、安霸，國內(nèi)的海康、大華、華為等都是該領(lǐng)域的重要玩家。
除了上述大廠，也有一些創(chuàng)業(yè)公司參與其中，比如深知未來、京德致遠、影石等。
在深知未來創(chuàng)始人&CEO張齊寧看來，“AI夜視技術(shù)是目前唯一能夠?qū)崿F(xiàn)全彩夜視的技術(shù)路徑”。
目前，深知未來基于其AI-ISP全彩夜視技術(shù)，已發(fā)布一系列產(chǎn)品，包括無人機載荷S2 PRO和S6，手持夜視單筒鏡等。
這些產(chǎn)品突破了傳統(tǒng)夜視技術(shù)的局限，具有全彩實時成像、高分辨率、不懼強光、成本低、場景適應(yīng)力強等特點。
最開始，深知未來按照英特爾的思路，用一個端到端的一體化神經(jīng)網(wǎng)絡(luò)實現(xiàn)ISP。
然而，團隊很快發(fā)現(xiàn)，英特爾的思路雖然可行，但終歸只是一個實驗室中的技術(shù)，很難實現(xiàn)商業(yè)化。
原因在于，這一技術(shù)需要巨大的算力支持，成本頗高。即使以當下的算力平臺，要支持這樣一個端到端的一體化神經(jīng)網(wǎng)絡(luò)，也仍是一件難事。
經(jīng)過半年探索，深知未來發(fā)現(xiàn)了兩個橫亙在商業(yè)化途中的問題。
其一，用一體化神經(jīng)網(wǎng)絡(luò)實現(xiàn)ISP時，很難對其進行調(diào)試。
由于不同產(chǎn)品應(yīng)用對圖像的要求不一，因此芯片廠商基本都會預(yù)留大量參數(shù)，以供產(chǎn)品廠商再做調(diào)整，調(diào)試出具備自身風格的圖像。
然而，對于使用ISP芯片的廠商們來說，想要對一整個神經(jīng)網(wǎng)絡(luò)進行調(diào)整，為此專門另招專業(yè)的算法工程師并不切合實際，此外也根本沒有數(shù)據(jù)對圖像風格進行調(diào)整。
其二，通過整個神經(jīng)網(wǎng)絡(luò)實現(xiàn)ISP的全部功能，難度太大且不必要。
“事實上，只需做跟圖像質(zhì)量相關(guān)的關(guān)鍵ISP環(huán)節(jié)，如降噪、HDR、3A等 AI 化，就能立刻提升圖像質(zhì)量，而不必對整個ISP進行神經(jīng)網(wǎng)絡(luò)化?！睆堼R寧對雷峰網(wǎng)(公眾號：雷峰網(wǎng))表示。
截止目前，大多數(shù)業(yè)界針對AI-ISP的研究，都只將少數(shù)模塊AI化，“大多數(shù)芯片廠商只處理其中的一部分任務(wù)，仍然留很多參數(shù)，讓下游產(chǎn)品廠商做調(diào)整?！?/p>
深知未來于是轉(zhuǎn)換思路，拋棄高成本的整體路線，轉(zhuǎn)而針對關(guān)鍵ISP環(huán)節(jié)進行AI化，并將自己的夜視神經(jīng)網(wǎng)絡(luò)命名為“EODNet”（end of dark）。
2019年，安霸公司提出“AI-ISP”概念，用以描述這種全新的ISP成像體系。
自安霸提出AI-ISP概念后，業(yè)界都將自己的相關(guān)技術(shù)定義為AI-ISP，并提出各不相同的理解。在當時，連AI人臉識別這一更上層的應(yīng)用，也被納入AI-ISP領(lǐng)域。
經(jīng)過幾年的探索，業(yè)界對于AI-ISP的理解漸漸趨于一致。
張齊寧對雷峰網(wǎng)解釋道：“AI-ISP的定義，是完成從感光芯片到成像過程的一整個算法集合體，包含20-30個算法。凡解決的問題與這20-30個成像任務(wù)相關(guān)，如降噪、銳化、HDR等，那么就可以被認為是在解決AI-ISP的問題?！?/p>
業(yè)界主要玩家中，索尼的重心主要在低照度的底層技術(shù)研究上，前期更多探索如何通過硬件實現(xiàn)最低照度；國內(nèi)在夜視應(yīng)用領(lǐng)域長期布局的?？?、大華，重心則在使用更好的光學鏡頭與感光芯片，解決具體場景中的夜視難題。
“對比做AI-ISP的友商，深知未來對整個AI-ISP體系研究涵蓋的范圍和深度是最大的。有的廠商在20-30個算法中，只關(guān)注了2-4個領(lǐng)域，深知未來關(guān)注了7-8個成像領(lǐng)域。其中3A、超分等技術(shù)，很多AI-ISP廠商還沒有開始涉及，而深知未來已經(jīng)做了很多年研究?！睆堼R寧介紹道。
如今，低照度全彩夜視成像，已在G端、B端和C端市場形成多樣分支。
比如，在公安領(lǐng)域，低照度全彩夜視成像的攝像機被用于刑偵場景。
數(shù)據(jù)顯示，80%的重大刑事案件發(fā)生在夜間，這給刑偵帶來了很大困難，傳統(tǒng)AI視覺攝像頭很難解決黑夜場景下成像模糊乃至缺失的痛點。
全彩夜視攝像機的優(yōu)點是，即使在極低照度、肉眼無法看清、無補光的夜間環(huán)境下，仍能以較低的成本，提供實時彩色清晰的圖像。
此外，自動駕駛領(lǐng)域的夜間行駛，工業(yè)檢測領(lǐng)域的復(fù)雜光線場景，基于AI-ISP的低照度全彩夜視成像，都能極大改善圖像質(zhì)量。
根據(jù)客戶屬性的不同，深知未來提供差異化產(chǎn)品，以滿足客戶需求。
面對B端市場，深知未來的定位是一家技術(shù)公司。
深知未來在B端市場，類似一個單點技術(shù)服務(wù)商，以為合作伙伴競標提供更有競爭優(yōu)勢的前端產(chǎn)品為主。
“B端選擇深知未來，更多的是對方自己有成熟的解決方案，需要一些讓客戶更感興趣的點，避免同質(zhì)化競爭?！?/p>
深知未來在B端的產(chǎn)品形態(tài)，主要分為兩種：整機產(chǎn)品和機芯。
工業(yè)無人機是深知未來最先商業(yè)化的領(lǐng)域，主要提供完整的產(chǎn)品形態(tài)。截止目前，深知未來一共發(fā)布了 4 款全彩夜視相機，可適配搭載于大疆的行業(yè)機。
其中，全彩夜視無人機載荷S2 PRO在S2的基礎(chǔ)上，著重解決夜間作業(yè)的關(guān)鍵痛點，實現(xiàn)更遠的視距與更精準的定位。
安防領(lǐng)域，深知未來主要提供夜視機芯，合作伙伴基于深知未來的機芯，已經(jīng)開發(fā)出10款不同的安防產(chǎn)品。
面對C端市場，深知未來的定位是一家產(chǎn)品公司。
C端客戶需求相對簡單，更注重新奇的體驗。
深知未來在C端主要推出完整產(chǎn)品，如今年推出的兩款便攜式夜視設(shè)備，單反式的夜視設(shè)備P6，以類似單筒望遠鏡形態(tài)的P8 Pro。
P6和P8 Pro是兩款從行業(yè)到戶外的產(chǎn)品。
行業(yè)端，應(yīng)急救援、公安偵查、邊防巡檢等場景對便攜手持夜視設(shè)備有著長期的更新需求。
消費端，歐美地區(qū)戶外文化成熟，徒步露營、打獵觀鳥等場景，對便攜手持夜視設(shè)備的需求同樣必不可少。
當下，夜間全彩成像，需求缺口巨大。北美地區(qū)，用戶對戶外精準夜視的需求幾近剛需，但市面上主流的熱成像夜視儀和紅外補光夜視儀，多為黑白成像或弱彩，存在目標細節(jié)特征不明顯等缺點。
除了便攜式設(shè)備向消費端的傾斜，深知未來也計劃將工業(yè)無人機的整個模組和產(chǎn)品做得更加輕量級，在未來搭載到消費無人機上。
在夜間實時全彩成像這一難題上，AI-ISP技術(shù)已被證實取得了突破性的進展，但其商業(yè)化之路，經(jīng)歷了不斷的調(diào)整和適配。
自2010年的計算革命開始，AI視覺成像成為一股浪潮。但是夜間在極低照度下，如何在多個行業(yè)應(yīng)用場景里實現(xiàn)全彩成像，仍然是一個需要不斷突破的命題。
當下，入局AI-ISP的玩家眾多，不僅有?？怠⒋笕A等安防巨頭，還有OPPO、vivo 等手機大廠，芯片端海思、地平線、瑞芯微、安霸、豪威、國芯微等也都有所涉及。投身于其中的巨頭們，雖有技術(shù)、品牌、渠道優(yōu)勢，但整個賽道仍處于早期發(fā)展階段。
創(chuàng)業(yè)公司們通過不同的技術(shù)路線進行差異化布局，仍然可以在眾多細分領(lǐng)域中找到屬于自己的位置。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
