0
| 本文作者： 7Tens | 2016-07-15 19:03 |
雷鋒網(wǎng)按：本文作者7Tens，微信公眾號(hào)：ICshare發(fā)起人。
高端智能手機(jī)的亮點(diǎn)越來(lái)越少，雷兔兔跑分已經(jīng)無(wú)法表現(xiàn)手機(jī)的優(yōu)勢(shì)。于是更霸氣的雙攝像頭閃亮登場(chǎng)了。這里說(shuō)到的雙攝像頭，并非是像以前的智能手機(jī)，前后各一個(gè)攝像頭，而是一共用兩顆后攝像頭，模擬人的一雙眼睛，來(lái)實(shí)現(xiàn)更多的拍照功能和更好的拍照效果。
一般來(lái)講，目前的智能手機(jī)的攝像頭接口都是MIPI（Mobile Industry Processor Interface）接口。之前手機(jī)平臺(tái)都只有2路MIPI接口，分別給前攝像頭和后攝像頭。做雙攝像頭，就要求平臺(tái)至少支持三路MIPI接口。其實(shí)在之前的高端平臺(tái)上，為了實(shí)現(xiàn)更高像素，已經(jīng)用雙路ISP（Image Signal Processing，圖像信號(hào)處理器）了，比如為了支持16M的攝像頭，會(huì)用2路8M能力的ISP。這類平臺(tái)很有可能只有2路MIPI，但這個(gè)無(wú)法阻止工程師去做前單攝像頭+后雙攝像頭。
那問(wèn)題來(lái)了，雙攝像頭到底能做什么？
人眼很容易對(duì)一個(gè)物體的距離進(jìn)行定位，但當(dāng)人閉上其中一個(gè)眼睛后，定位能力就會(huì)下降很多。雙攝像頭就是模擬人眼的應(yīng)用。簡(jiǎn)單的說(shuō)，測(cè)距離的話，就是通過(guò)算法算出，被拍攝物體與左/右攝像頭的角度θ1和θ2，再加上固定的y值（即兩個(gè)攝像頭的中心距），就非常容易算出z值（即物體到Camera的距離）。
不過(guò)這也很容易推算，若兩個(gè)攝像頭中心距過(guò)小的話，可計(jì)算的物體距離就會(huì)很近。若想算出更遠(yuǎn)距離，就必須讓左右攝像頭的距離拉遠(yuǎn)。
如上圖，由于雙攝像頭通過(guò)算法，可以判斷被攝物體的距離，所以通過(guò)此特性，很容易做出一些特效，如：
A、背景虛化
單反相機(jī)最出眾的特色之一就是大光圈。由于雙攝像頭可以測(cè)出不同被拍攝物體的距離，對(duì)需要進(jìn)行大光圈的物體對(duì)準(zhǔn)，其他不同距離的物體虛化，可以輕松實(shí)現(xiàn)大光圈的效果。
（原圖）
（以美女為中心對(duì)焦，虛化背景和手上的蘑菇）
（以蘑菇為中心對(duì)焦，虛化背景和美女）
B、背景替換
由于可以測(cè)量距離，可以將被拍攝物體里的主體提取出來(lái)，更換背景，就可以比PS還簡(jiǎn)單，進(jìn)行摳圖。
C、背景特效
由于可以測(cè)量距離，分出主題和背景，所以很容易對(duì)背景做任何處理，就不在這里過(guò)多描述。
D、測(cè)量距離
這個(gè)圖就非常明顯的標(biāo)識(shí)出不同物體的距離，這個(gè)距離信息用不同顏色標(biāo)識(shí)出來(lái)。當(dāng)AP獲得了不同物體的距離信息，就可以做到上述的各種功能。
光學(xué)變焦主要是左右攝像頭使用不同的FOV（可視角），這樣兩個(gè)攝像頭取景不同。當(dāng)用戶需要廣角照片，則用視角為85度的左攝像頭取景，獲得廣角效果。當(dāng)用戶需要長(zhǎng)焦照片，則用視角為45度的右攝像頭取景，獲得長(zhǎng)焦效果。
為了使左右攝像頭拍攝的物體重疊度高，光學(xué)變焦的雙攝像頭模組不能像做距離應(yīng)用的攝像頭的模組那樣距離過(guò)大，而是需要將左右攝像頭擺得越近越好。
若兩個(gè)Camera的FOV不一樣，一個(gè)大FOV，一個(gè)小FOV，再通過(guò)算法實(shí)現(xiàn)兩個(gè)光學(xué)鏡頭之間的效果，就可以輕松做到光學(xué)變焦。
若不用雙攝像頭，放大圖片后，文字不清楚
若使用雙攝像頭，放大圖片后，文字依然清楚
此圖就是融合了廣角的圖和長(zhǎng)焦的圖，通過(guò)算法算出了中間態(tài)度照片，讓細(xì)節(jié)不失真
一般來(lái)講，做暗光增強(qiáng)就是在兩個(gè)攝像頭中：一個(gè)用RGBG的標(biāo)準(zhǔn)攝像頭，一個(gè)用去掉RGBG濾波片的黑白攝像頭。RGBG用來(lái)獲得物體的色彩，而黑白攝像頭用來(lái)獲得更好的進(jìn)光量，來(lái)判斷被拍物體的光強(qiáng)強(qiáng)度。然后將兩個(gè)圖片融合即可獲得更好的暗光增強(qiáng)。
目前有兩種融合方法：
以黑白圖片為主體，將彩色圖片上獲取的每個(gè)像素的顏色貼至黑白圖片上，將兩種圖片融合。
以彩色圖片為主體，將黑白圖片上獲取的每個(gè)圖像的光強(qiáng)補(bǔ)償?shù)讲噬掌?，將兩種圖片融合。
至于哪種方式更合適做融合，可能仁者見(jiàn)仁智者見(jiàn)智，就不在這展開(kāi)討論了。
同樣，做暗光增強(qiáng)，為了讓左右攝像頭拍攝的物體重疊度高，此類雙攝像頭模組也是要求越近越好。
需要說(shuō)明的事，華為P9其實(shí)選用的就是這個(gè)方式的模組
當(dāng)然有些業(yè)內(nèi)人士也表示這種算法目前做的效果并不明顯。暗光補(bǔ)償對(duì)用戶來(lái)說(shuō)的確很有幫助，尤其拍夜景的時(shí)候。不過(guò)有些客戶認(rèn)為索尼和三星的Dual PD技術(shù)就非常好，更愿意用Dual PD攝像頭來(lái)做暗光補(bǔ)償。
到底是雙攝像頭還是Dual PD的暗光補(bǔ)償效果好，大家可以比較一下華為P9和三星的Galaxy S7 edge，就會(huì)有答案了。
這個(gè)一般使用彩色+黑白的攝像頭。通過(guò)黑白攝像頭獲取圖片的光亮強(qiáng)度，來(lái)對(duì)圖片暗光補(bǔ)償。
3D拍攝和3D建模的算法其實(shí)跟距離應(yīng)用有點(diǎn)類似，只是它的精度要求更高，甚至有時(shí)會(huì)需要用紅外測(cè)距進(jìn)行更準(zhǔn)確的距離判斷。
提到雙攝像頭的算法，不得不提到ISP（Image Signal Processing 圖像信號(hào)處理器），ISP主要作用是對(duì)前端圖像傳感器輸出的信號(hào)做后期處理，主要功能有線性糾正、噪聲去除、壞點(diǎn)去除、內(nèi)插、白平衡、自動(dòng)曝光控制等，依賴于ISP才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場(chǎng)細(xì)節(jié)，ISP技術(shù)在很大程度上決定了手機(jī)的成像質(zhì)量。
功能機(jī)時(shí)代，ISP都是做在攝像頭上的，不同像素的攝像頭搭配不同性能的ISP。隨著手機(jī)攝像頭像素越來(lái)越高，對(duì)ISP性能的要求越來(lái)越高，若將ISP集成到攝像頭Sensor上，勢(shì)必造成攝像頭的模組過(guò)大，甚至影響拍照效果。所以智能機(jī)時(shí)代，ISP一般都是在主芯片SoC上。部分品牌客戶為了實(shí)現(xiàn)更好的效果，甚至不惜成本的外加一顆ISP用來(lái)達(dá)到更好更專業(yè)的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝像頭對(duì)ISP性能要求更多。首先，為了使左右攝像頭的信號(hào)能夠同時(shí)被處理，單一的ISP已經(jīng)無(wú)法滿足雙攝像頭的需求。這就需要雙路ISP實(shí)現(xiàn)此功能。
以暗光增強(qiáng)為例，彩色/黑白圖像分別進(jìn)入各自的ISP通道和校準(zhǔn)通道，然后將兩副圖片做匹配（如將兩幅圖片相同的部分提取出來(lái)，去除只有一個(gè)攝像頭拍到的部分），然后通過(guò)遮擋，檢測(cè)，補(bǔ)償?shù)人惴ㄌ幚硐嚓P(guān)的圖片。最后將兩幅圖片融合起來(lái)，實(shí)現(xiàn)顏色的增強(qiáng)。當(dāng)然實(shí)際上ISP配合算法做的事情，遠(yuǎn)遠(yuǎn)比這圖片上寫的要多。
當(dāng)然，在這里面也有一個(gè)小小的插曲。畢竟是兩個(gè)ISP，兩個(gè)ISP多少有一些處理速度、處理能力不同的問(wèn)題。為了保證兩個(gè)ISP能在同一時(shí)間上取樣，就需要雙攝像頭拍出來(lái)的圖片是同一時(shí)間拍出來(lái)的。其中一個(gè)解決辦法就是讓Sensor有一個(gè)同步信號(hào)引腳。將兩個(gè)攝像頭的同步信號(hào)對(duì)接，在每次讀取圖片時(shí)，將圖片都打上一個(gè)時(shí)間戳，ISP通過(guò)時(shí)間戳，保證左右攝像頭拍出來(lái)的照片在同一時(shí)間拍攝，最終再進(jìn)行融合。
不同于一般的3D電影的拍攝。手機(jī)上的兩個(gè)攝像頭無(wú)法在圖像的拍攝過(guò)程中就產(chǎn)生足夠的視覺(jué)差，這是由于兩個(gè)攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯地得到3D視覺(jué)效果。所以往往需要算法進(jìn)行增強(qiáng)。
由于可以測(cè)出距離，后續(xù)的雙攝像頭不僅僅可以實(shí)現(xiàn)3D攝影，還可以進(jìn)行3D建模，到這個(gè)時(shí)候，我想雙攝像頭的重要性則會(huì)更加重要。
其他的效果增強(qiáng)，比如HDR、提高分辨率，這些功能其實(shí)單攝像頭也可以實(shí)現(xiàn)，只是雙攝像頭可以讓效果更好，就不一一列舉了。
目前來(lái)看，這幾個(gè)功能是雙攝像頭手機(jī)最常見(jiàn)的功能。背景虛化/更換，暗光效果給用戶帶來(lái)了更多的拍照效果；光學(xué)變焦則讓我們感受了變焦功能的相機(jī)功能；但個(gè)人覺(jué)得未來(lái)最讓人激動(dòng)的則是3D功能。
今年VR這么火，VR的素材哪里來(lái)？還是得靠雙攝像頭算法的優(yōu)化。若3D拍照和建模的算法成熟后，將會(huì)讓雙攝像頭變得更加流行。
前文我們講了雙攝像頭的應(yīng)用及其原理?，F(xiàn)在我們就重點(diǎn)來(lái)說(shuō)說(shuō)雙攝像頭的產(chǎn)業(yè)鏈。
由于算法是需要跟ISP配合的，所以算法和ISP是相輔相成的，想把算法做好，也得有好的ISP。
作為主平臺(tái)供應(yīng)商，高通/聯(lián)發(fā)科都有自己的ISP，所以也自己開(kāi)發(fā)了雙攝像頭算法。至于其算法好壞，還有待市場(chǎng)的檢驗(yàn)。
而作為Sensor供應(yīng)商，Sony、Samsung、OV也在積極開(kāi)發(fā)雙攝算法，暫時(shí)也沒(méi)有看到量產(chǎn)的產(chǎn)品。不過(guò)在功能機(jī)時(shí)代，是沒(méi)有ISP的。這些Camera sensor的供應(yīng)商做2M/5M的時(shí)候，都得搭配自家的ISP，所以這些供應(yīng)商都是有自己開(kāi)發(fā)ISP的經(jīng)驗(yàn)。所以開(kāi)發(fā)雙攝像頭算法，相對(duì)來(lái)說(shuō)也是有相關(guān)的經(jīng)驗(yàn)的。
Apple去年收購(gòu)了Linx，也擁有了多攝像頭的專利和算法，是否會(huì)用在自家的雙攝像頭機(jī)型，那就看今年的iPhone7。理論來(lái)上說(shuō)，Linx有足夠多的算法，所以Apple不至于跟某大廠去買雙攝像頭的IP授權(quán)。
除了這些平臺(tái)，sensor供應(yīng)商和智能機(jī)的品牌商會(huì)自己開(kāi)發(fā)雙攝像頭算法外，其他供應(yīng)商我們一一列舉一下：
1996年成立于臺(tái)灣的華晶，主要開(kāi)發(fā)獨(dú)立的ISP芯片。部分高端手機(jī)、相機(jī)和車載都有用其ISP的案例。雙攝像頭手機(jī)也有用其ISP的。距離應(yīng)用、光學(xué)變焦和暗光補(bǔ)償都有所建樹(shù)。
一家以色列的公司。其算法的優(yōu)勢(shì)主要在光學(xué)變焦和暗光補(bǔ)償上。景深方面，也有一定的研究。從媒體宣傳來(lái)看，hTC有機(jī)型采用了其算法。
虹軟成立于1994年，總部在美國(guó)，在上海，杭州和南京都有技術(shù)中心。虹軟的強(qiáng)項(xiàng)是光學(xué)變焦和暗光補(bǔ)償。上一篇里的第二個(gè)光學(xué)變焦圖和暗光補(bǔ)充的圖就來(lái)自虹軟。
上海興芯微是一家成立于2011年的公司，主要從事圖像處理器的研發(fā)，目前產(chǎn)品主要應(yīng)用在車載市場(chǎng)。做為為數(shù)不多的研發(fā)獨(dú)立ISP的公司，目前也在開(kāi)發(fā)雙攝像頭的算法和ISP。在雙攝像頭市場(chǎng)起來(lái)后，X-Chip將會(huì)是一匹非常有潛力的黑馬。
雙攝像頭也是剛剛出來(lái)， 所以算法方面，各家都有各自的優(yōu)點(diǎn)和缺點(diǎn)。不過(guò)從目前已經(jīng)推出的雙攝像頭手機(jī)效果來(lái)看，各家的算法還有待提高。等各種算法能力上去后，勢(shì)必會(huì)讓雙攝像頭成為手機(jī)的標(biāo)配。
由于雙攝像頭在拍照的時(shí)候，需要兩個(gè)攝像頭同步時(shí)間戳，這就需要Camera Sensor有同步信號(hào)。目前有此同步信號(hào)的sensor供應(yīng)商有Sony、Samsung、OV、格科微。所以雙攝像頭的Sensor主要用這幾家的產(chǎn)品。
目前能做雙攝像頭的模組廠很多，有光寶、舜宇、信利、Namuga、O-Film、三星機(jī)電、丘鈦。不過(guò)有量產(chǎn)經(jīng)驗(yàn)的主要是光寶、舜宇和信利。華為的機(jī)型主要是用光寶和舜宇的模組。而O-Film和三星機(jī)電憑借其強(qiáng)大的工廠能力，現(xiàn)在也大舉進(jìn)軍雙攝像頭模組領(lǐng)域。Namuga則是跟各算法公司保持良好的溝通關(guān)系，并為三星手機(jī)的供應(yīng)商，也逐漸在雙攝像頭模組領(lǐng)域發(fā)力。
不過(guò)不同功能對(duì)模組要求不一樣。我們繼續(xù)拿上文說(shuō)的四個(gè)功能為例：
距離方面的應(yīng)用，一般的做法，就是大小攝像頭，常見(jiàn)的攝像頭規(guī)格如13M+2M，13M+5M。如下圖：
或者就是把兩個(gè)攝像頭放得遠(yuǎn)一些，如下圖：
通過(guò)這兩種方式，才能更好的計(jì)算被拍攝物體到鏡頭的距離。
光學(xué)變焦的雙攝像頭模組，最主要是兩個(gè)攝像頭需要有不同的FOV，類似下圖：
不同的FOV，拍出來(lái)的聚焦點(diǎn)不同，再通過(guò)算法，就可以實(shí)現(xiàn)光學(xué)變焦功能。
一般的暗光增強(qiáng)，都是通過(guò)一個(gè)RGB全彩色的攝像頭+一顆MONO黑白的攝像頭進(jìn)行拍攝，如下圖：
算法方面，主要是通過(guò)右面的黑白攝像頭讀取進(jìn)光量的多少，從而補(bǔ)償左邊RGB攝像頭的色彩。
3D拍攝和建模，這種方式跟距離相關(guān)的模組有點(diǎn)類似。只是3D對(duì)距離的精準(zhǔn)度要求更高。這種情況下，更需要將兩個(gè)攝像頭的距離擺得遠(yuǎn)一點(diǎn)，甚至有些會(huì)采用外加紅外輔助定位來(lái)實(shí)現(xiàn)距離測(cè)量，最終實(shí)現(xiàn)3D拍攝和建模的作用。
雙攝像頭模組制作的難點(diǎn)：
雙攝像頭的做法，一般有兩種：共基板，或者共支架。如下圖：
若共基板，則是將兩個(gè)Camera Sensor共同放在同一個(gè)基板上，然后一個(gè)FPC從此基板上引出來(lái)即可。若共支架，如上圖，通過(guò)支架將Sensor固定住，每個(gè)Sensor有自己的基板和自己的FPC。
共基板的優(yōu)點(diǎn)：兩個(gè)Sensor可以坐在同一個(gè)平板上，而且抗跌落。
共基板的缺點(diǎn)：良率低，造成價(jià)格昂貴。
共支架的優(yōu)點(diǎn)：良率高，價(jià)格較好。
共支架的缺點(diǎn)：因?yàn)槭莾深w獨(dú)立Sensor模組，需要通過(guò)AA校準(zhǔn)使其在同一個(gè)平面上，難度大，抗摔落也差。
總之兩種方法各有優(yōu)缺點(diǎn)，目前只有華為采用的是共基板的方式。但無(wú)論哪種方式，目前良率都是較差的，所以成本還是很高的。
若算法提高，模組良率提高，雙攝像頭還是有很多優(yōu)勢(shì)值得大家去做的。
不過(guò)由于不同功能對(duì)模組擺放要求不同，雙攝像頭目前來(lái)看，有可能完全無(wú)法滿足大家對(duì)攝像頭的要求。
由于谷歌推出Project Tango的時(shí)候，很聰明地提出了一個(gè)三攝像頭的概念：當(dāng)需要測(cè)距和3D建模的時(shí)候，可以用兩個(gè)距離遠(yuǎn)的攝像頭；若做光學(xué)變焦和暗光補(bǔ)償，可以用兩個(gè)距離近的鏡頭。甚至此Depth Sense可以結(jié)合紅外，更準(zhǔn)確的測(cè)量距離。
無(wú)論如何，隨著雙攝像頭算法的演進(jìn)，VR需求的增加，攝像頭發(fā)揮的作用越來(lái)越大。雙攝像頭，甚至前雙攝像頭+后三攝像頭的手機(jī)，明后年很有可能變得越來(lái)越常見(jiàn)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
