4
| 本文作者： 蔡博侖 | 2016-10-14 18:28 |
雷鋒網(wǎng)按：本文作者蔡博侖，華南理工大學在讀博士研究生。主要研究方向，機器學習，計算機視覺，圖像處理等。
北京城被中度污染天氣包圍，到處都是灰蒙蒙一片——霧霾天又來了。從11日起，霧霾天氣就開始出現(xiàn)，根據(jù)北京環(huán)境監(jiān)測中心最新預報，這一輪霧霾短期內不會明顯好轉，尤其是今明兩天，北京空氣質量維持在4級中度污染，霧霾會一直持續(xù)到本周日。
霧霾是特定氣候與人類活動相互作用的結果。高密度人口的經(jīng)濟生產(chǎn)及社會活動會排放大量細顆粒物，一旦排放量超過大氣循環(huán)和承載能力，懸浮顆粒受靜穩(wěn)天氣的影響持續(xù)積聚，極易出現(xiàn)大范圍的霧霾。
現(xiàn)有的圖像去霧（Image Dehazing）技術離不開一個簡單的自然模型——大氣散射模型（Atmospheric Scattering Model）。大氣散射模型描述了，在霧霾和光照的共同作用下的成像機制：
陽光在物體表面形成反射光 J(x)，反射光在穿過霧霾的過程發(fā)生散射，只有部分能量 J(x)t(x) 能到達攝像頭。與此同時，陽光也在懸浮顆粒表面散射形成大氣光 α 被攝像頭接收。因此，攝像頭中的成像 I(x) 可由兩部分組成，透射的物體亮度 J(x)t(x) 和散射的大氣光照 α(1－t(x))：
其中，t(x) 是媒介透射率（medium transmission），顧名思義表示能順利透過霧霾到達攝像頭的比率。因此，透射率跟物體與攝像頭距離 d(x) 成反比，離攝像頭越遠的物體受霧霾影響更大。當距離 d(x) 趨于無窮大時，透射率 t(x) 趨于零，I(x) 趨近于 α，α=maxy∈{x|t(x)≤t0}I(y)。綜上所述，去霧的核心是如何更精確地估計媒介透射率 t(x)。
手工特征是傳統(tǒng)機器視覺的基礎，講究的是熟能生巧，依賴的是實踐出真知。通過“觀察→經(jīng)驗→設計”構建各式各樣的特征來滿足各式各樣的任務需求。圖像去霧技術也是沿著手工特征逐步地發(fā)展起來。
（1）暗通道先驗[2]（Dark Channel Prior，DCP）
說起去霧特征，不得不提起的暗通道先驗（DCP）。大道之行在于簡，DCP作為CVPR 2009的最佳論文，以簡潔有效的先驗假設解決了霧霾濃度估計問題。
觀察發(fā)現(xiàn)，清晰圖像塊的RGB顏色空間中有一個通道很暗（數(shù)值很低甚至接近于零）。因此基于暗通道先驗，霧的濃度可由最暗通道的數(shù)值近似表示：
（2）最大對比度[3]（Maximum Contrast，MC）
根據(jù)大氣散射模型，霧霾會降低物體成像的對比度：Σx‖ΔI(x)‖=tΣx‖ΔJ(x)‖≤Σx‖ΔJ(x)‖。因此，基于這個推論可利用局部對比度來近似估計霧霾的濃度。同時，也可以通過最大化局部對比度來還原圖像的顏色和能見度。
（3）顏色衰減先驗[4]（Color Attenuation Prior，CAP）
顏色衰減先驗（CAP）是一種與暗通道先驗（DCP）相似的先驗特征。觀察發(fā)現(xiàn)霧霾會同時導致圖像飽和度的降低和亮度的增加，整體上表現(xiàn)為顏色的衰減。根據(jù)顏色衰減先驗，亮度和飽和度的差值被應用于估計霧霾的濃度：
人的視覺系統(tǒng)并不需依賴這些顯式的特征變換，便可以很好地估計霧的濃度和場景的深度。DehazeNet是一個特殊設計的深度卷積網(wǎng)絡，利用深度學習去智能地學習霧霾特征，解決手工特征設計的難點和痛點。
（1） 特征提?。‵eature Extraction）
特征提取有別于傳統(tǒng)卷積神經(jīng)網(wǎng)絡，DehazeNet采用“卷積+Maxout[5]”的結構作為網(wǎng)絡第一層：
并且可以證明，“卷積+Maxout”等價于傳統(tǒng)的手工去霧特征：
當W1是反向（Opposite）濾波器,通道的最大等價于通道的最小值，等價于暗通道先驗（DCP）；當W1是環(huán)形（Round）濾波器, 等價于對比度提取，等價于最大對比度（MC）；當W1同時包含反向（Opposite）濾波器和全通（All-pass）濾波器，等價于RGB到HSV顏色空間轉換，等價于顏色衰減先驗（CAP）。
此外，從機器學習角度看，Maxout是一種樣條函數(shù)，具有更強的非線性擬合能力，如下圖（d）。
（2） 多尺度映射（Multi-scale Mapping）與局部極值（Local Extremum）
多尺度特征會提高不同分辨率下特征提取的魯棒性。傳統(tǒng)去霧方法中也會采用不同尺度的濾波器（均值、中值、最小值）來增強特征在不同尺度下的魯棒性。借鑒于GoogLeNet中的inception結構，采用3組不同尺度（3×3，5×5，7×7）的濾波器實現(xiàn)DehazeNet的尺度魯棒性：
局部極值（MAX Pooling）是深度卷積神經(jīng)網(wǎng)絡的經(jīng)典操作。局部極值約束了透射率的局部一致性，可以有效抑制透射率的估計噪聲。此外，局部極值也對應于暗通道先驗（DCP）的局部最小值和最大對比度（MC）的局部最大值。
（3） 非線性回歸（Non-linear Regression）
大氣透射率是一個概率（0到1），不可能無窮大，也不可能無窮小。受到Sigmoid和ReLU激勵函數(shù)的啟發(fā)，提出雙邊糾正線性單元（Bilateral Rectified Linear Unit，BReLU），在雙邊約束的同時，保證局部的線性。
BReLU的非線性回歸對應于傳統(tǒng)去霧方法中的邊緣抑制操作（如DCP和CAP）。雙邊約束引入先驗信息縮小參數(shù)搜索空間，使得網(wǎng)絡更加容易訓練；局部線性避免Sigmoid函數(shù)梯度不一致帶來的收斂困難。
DehazeNet基于手工特征，又超出傳統(tǒng)方法，從人工到智能。因此，DehazeNet取得了更好的去霧結果，更多的對比實驗和代碼資源：
參考文獻
[1] Cai B, Xu X, Jia K, et al. DehazeNet: An End-to-End System for Single Image Haze Removal [J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.
[2] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341-2353.
[3] Tan R T. Visibility in bad weather from a single image[C]//Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008: 1-8.
[4] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.
[5] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. ICML (3), 2013, 28: 1319-1327.
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
