0
| 本文作者： 我在思考中 | 2021-09-01 10:42 |
作者 | 陳炳輝
編輯 | 王曄
本文是對發(fā)表于計算機視覺頂級會議ICCV2021的論文“Variational Attention: Propagating Domain-Specific Knowledge for Multi-Domain Learning in Crowd Counting”的解讀
作者：Binghui Chen*, Zhaoyi Yan*, Ke Li, Pengyu Li, Biao Wang, Wangmeng Zuo, Lei Zhang
論文鏈接：https://arxiv.org/abs/2108.08023
在人群密度估計任務(wù)中，標(biāo)注工作十分困難且費時，導(dǎo)致當(dāng)前的公開學(xué)術(shù)集規(guī)模都較小且數(shù)據(jù)的分布差異較大（圖1：密度差異，場景差異，視角差異等等）。因此，為了學(xué)習(xí)到泛化能力較強、通用性較高的人群密度估計模型，同時聯(lián)合多種數(shù)據(jù)域知識來監(jiān)督模型的訓(xùn)練成為了一種可能的方案。然而，直接利用聯(lián)合數(shù)據(jù)訓(xùn)練模型會導(dǎo)致模型的選擇性學(xué)習(xí)行為，即模型只對聯(lián)合數(shù)據(jù)中的“主導(dǎo)”數(shù)據(jù)部分進(jìn)行了有效的學(xué)習(xí)，而忽略了其余部分?jǐn)?shù)據(jù)帶來的域知識，從而導(dǎo)致模型表現(xiàn)出在不同域上性能變化的不一致性（表1：部分域性能提升，部分域性能降低）。
鑒于此，本文提出了域?qū)僦R傳播網(wǎng)絡(luò)（DKPNet）來引導(dǎo)無偏知識的學(xué)習(xí)。其中，作者提出了變分關(guān)注技術(shù)（Variational Attention，VA），該技術(shù)可以顯式地對不同數(shù)據(jù)域構(gòu)建相應(yīng)的關(guān)注分布，從而有效的提取和學(xué)習(xí)域?qū)俚男畔ⅰ?/span>此外，作者進(jìn)一步提出了本征變分關(guān)注技術(shù)（Intrinsic Variational Attention， InVA）來解決覆蓋域和子域的問題。作者對DKPNet在常用的人群密度估計數(shù)據(jù)集ShanghaiTechA/B, UCF-QNRF以及NWPU上進(jìn)行有效的評估。
圖1：不同數(shù)據(jù)域的分布差異
表1：直接聯(lián)合訓(xùn)練帶來的性能變化的不一致性
為了解決不同數(shù)據(jù)域分布差異帶來的難題，我們需要克服深度模型的選擇性學(xué)習(xí)行為，即只學(xué)習(xí)數(shù)據(jù)域中占“主導(dǎo)”地位的信息和知識。此外，考慮到CNN中通道信息通常是表達(dá)模式概念以及抽象表征的，而空間信息通常描述的是位置信息，因此為了建模域?qū)俚男畔?，作者選取在通道信息上進(jìn)行域?qū)僦R的建模。如圖所示：
圖2：變分關(guān)注模型VA
首先假設(shè)我們能通過通道信息來進(jìn)行域的劃分，即需要引入channel-attention機制來區(qū)分和引導(dǎo)不同域的學(xué)習(xí)，然而普通的channel-attention并不能顯式地區(qū)分域?qū)俚闹R，因此需要人為地施加約束來提供引導(dǎo)。鑒于此，本文參考VAE的思想，首先引入潛變量z來建模不同數(shù)據(jù)域，根據(jù)變分思想，為了控制輸出的關(guān)注分布
，作者最大化條件概率的對數(shù)似然；
其中第一項用于提高預(yù)測的準(zhǔn)確性，在人群密度估計中，將其寫作：
第二項描述的是變分分布
和先驗分布
的KL散度。此外由于不同域的分布不同，本文采用混合高斯分布作為先驗：
由此，KL散度變?yōu)椋?/span>
為了學(xué)習(xí)到自適應(yīng)的域參數(shù)，將均值和協(xié)方差參數(shù)設(shè)置為可學(xué)習(xí)的。并對其施加如下約束來防止平凡解：
最終VA如圖2所示，綜合loss如下：
然而，上述的推理是基于一個假設(shè)，即不同數(shù)據(jù)集當(dāng)作一個單獨的數(shù)據(jù)域，這個假設(shè)在實際中并不能被很好地支持，例如NWPU數(shù)據(jù)中存在較多的子域，且不同數(shù)據(jù)集之間還可能存在重合的分布。鑒于此，作者基于VA又提出了InVA來解決覆蓋域和子域的問題。
InVA區(qū)別于VA的地方主要是兩個地方，第一個是首先會采用聚類的方式對attention分布進(jìn)行粗略的劃分，從而緩解覆蓋域的問題；第二個是會采用子高斯混合先驗對潛變量進(jìn)行約束，從而緩解子域的問題。
最終使用VA和InVA對CNN的通道信息進(jìn)行調(diào)整，得到了DKPNet，如圖3所示：
圖3：DKPNet
作者在4個常用的人群密度估計的數(shù)據(jù)集（ShanghaiTech A/B， QNRF， NWPU）上進(jìn)行了多重驗證，實驗結(jié)果如表2所示?？梢钥吹阶髡叻謩e進(jìn)行了3-Joint（SHA/SHB/QNRF聯(lián)合使用）和4-Joint（SHA/SHB/QNRF/NWPU）實驗，表示采用不同的個數(shù)的數(shù)據(jù)集進(jìn)行的聯(lián)合訓(xùn)練。當(dāng)進(jìn)行簡單的聯(lián)合訓(xùn)練之后，可以看到模型的性能并不能一致地在所有數(shù)據(jù)集上都得到提升，驗證了模型的選擇性學(xué)習(xí)的行為。當(dāng)采用DKPNet之后，由于域?qū)俚男畔⒛軌虮伙@式地建模和學(xué)習(xí)，因此帶來了顯著的性能提升，并且在不同數(shù)據(jù)集上表現(xiàn)出了一致性。同時作者也給出了大量的消融實驗（圖4：attention分布對比；表3：的影響；表4：覆蓋域和子域數(shù)量的影響等），證明了VA和InVA的有效性。
表2：實驗結(jié)果
圖4：attention分布示意圖
表3：約束的作用
表4：覆蓋域和子域數(shù)量的影響
本文針對人群密度中多域聯(lián)合訓(xùn)練的問題，提出了基于變分關(guān)注VA的域?qū)傩畔W(xué)習(xí)網(wǎng)絡(luò)DKPNet，有效地緩解了多域聯(lián)合訓(xùn)練中的有偏學(xué)習(xí)現(xiàn)象，通過引入潛變量對不同域進(jìn)行建模，從而能夠為模型的學(xué)習(xí)提供很好域引導(dǎo)。此外，為了更好地解決覆蓋域和子域的問題，本文提出了InVA進(jìn)一步提升域引導(dǎo)的質(zhì)量。最終，作者通過大量的實驗驗證了該方法的有效性。
贈書福利
AI科技評論本次聯(lián)合中信出版社為大家?guī)?strong style="outline: 0px;">5本人工智能先驅(qū)、圖靈獎得主Yann LeCun教授的自傳《科學(xué)之路》正版新書。
在AI科技評論8月29日頭條文章（注意不是本文，僅限AI科技評論微信公眾號端）留言區(qū)留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質(zhì)量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前5不意味著一定會中獎）的讀者中選出5位讀者獲得贈書。獲得贈書的讀者請聯(lián)系 AI 科技評論客服（aitechreview）。
留言內(nèi)容會有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個字）”等內(nèi)容將不會被篩選，亦不會中獎。
留言送書活動時間為2021年8月29日 - 2021年9月02日（23:00），活動推送時間內(nèi)僅允許贈書福利中獎一次。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
