0
| 本文作者： 余快 | 2022-01-04 20:27 |
2021年12月11日，由雷峰網(wǎng) & AI 掘金志主辦的第四屆中國(guó)人工智能安防峰會(huì)，在深圳正式召開(kāi)。
本屆峰會(huì)以「數(shù)字城市的時(shí)代突圍」為主題，會(huì)上代表城市AIoT的14家標(biāo)桿企業(yè)，為現(xiàn)場(chǎng)和線上觀眾，分享迎接數(shù)字城市的經(jīng)營(yíng)理念與技術(shù)應(yīng)用方法論。
作為上午場(chǎng)的開(kāi)場(chǎng)嘉賓，虞晶怡從深度學(xué)習(xí)的角度，從建模、渲染以及隱私保護(hù)三個(gè)方面分享了對(duì)未來(lái)城市元宇宙的理解。
虞晶怡提到，他所研究的計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)非常重要的任務(wù)，就是完成物理世界向數(shù)字世界的映射。為了完成這個(gè)映射，產(chǎn)生了非常多的概念，比如最早的數(shù)字孿生，到現(xiàn)在的元宇宙。但無(wú)論是什么概念，歸根到底需要解決幾個(gè)核心問(wèn)題：
三維建模如何完成？圖像分析如何完成？隱私保護(hù)如何完成？
虞晶怡教授從四個(gè)方面出發(fā)闡述了對(duì)以上問(wèn)題的理解：
計(jì)算成像、三維重建、智能融合、隱私保護(hù)。
2D計(jì)算成像。過(guò)去幾年，編碼成像取得了很大的進(jìn)步。在圖像質(zhì)量方面，利用編碼成像可以在高速和離焦的情況下獲得更好的圖像。
虞晶怡指出，做智慧城市離不開(kāi)三維重建。計(jì)算機(jī)視覺(jué)界已經(jīng)做了很多年，其中最為出色的解決方案來(lái)自谷歌的“一日建?！?。具體有三個(gè)步驟：通過(guò)針對(duì)大量圖像進(jìn)行位置猜測(cè)，再通過(guò)特征提取獲取精確的相機(jī)位置，再對(duì)圖像特征進(jìn)行匹配和三維確認(rèn)，最后得到模型，這個(gè)方式在大規(guī)模城市重建中非常常用。
基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法，即2D+3D融合。因?yàn)楹芏嘀腔鄢鞘心Ｐ筒⒉痪_，將城市進(jìn)行三維重建后，把二維的貼圖與三維模型融合，可以得到多視角視頻。
最后，虞晶怡教授著重分享了隱私保護(hù)，他認(rèn)為重建做得無(wú)論多好，最重要的是保護(hù)隱私。
以下是虞晶怡演講全文，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))AI掘金志作了不改變?cè)獾恼砼c編輯：
今天給大家分享一個(gè)我認(rèn)為非常有意思的話題，主題叫《The future of MetaCity：Modeling，Rendering，and Privacy Protection》，講講我眼里的元城市，我會(huì)從深度學(xué)習(xí)的角度分享如何建模、如何渲染，以及最重要的如何保護(hù)個(gè)人隱私。
大家討論的智慧城市是什么？這是一件很有意思的事情。我記得很多年前王堅(jiān)博士跟我有個(gè)討論，他想要知道智慧城市的一個(gè)功能，比如“你能不能告訴我現(xiàn)在馬路上有多少輛車(chē)在開(kāi)？”
這個(gè)問(wèn)題聽(tīng)上去好像很簡(jiǎn)單，其實(shí)很復(fù)雜，雖然我們已經(jīng)有大量攝像頭，但每個(gè)攝像頭只能看到城市中很小一部分的車(chē)輛，如何統(tǒng)計(jì)出它們分別在什么位置，如何計(jì)算出有多少車(chē)輛是非常大的挑戰(zhàn)。
我研究的領(lǐng)域是計(jì)算機(jī)視覺(jué)，其中一個(gè)非常重要的任務(wù)是完成從物理世界向數(shù)字世界的映射。完成了這個(gè)映射，大家就可以玩各種概念。而從最早的數(shù)字孿生到現(xiàn)在的元宇宙，歸根到底，需要解決幾個(gè)核心問(wèn)題：
三維建模怎么完成？圖像分析怎么完成？隱私保護(hù)怎么完成？
今天的演講主要分為四個(gè)部分：計(jì)算成像、三維重建、基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法、隱私保護(hù)。
第一部分，所謂的2D高清圖像，就是傳統(tǒng)的計(jì)算成像。過(guò)去二十年我一直在做計(jì)算成像，設(shè)計(jì)了各種各樣的相機(jī)系統(tǒng)。
相機(jī)系統(tǒng)本身很復(fù)雜，有很多組成部分，比如相機(jī)的鏡頭、快門(mén)、閃光燈、光圈以及各相機(jī)陣列。得益于計(jì)算成像，在獲取圖像之后可以通過(guò)各種計(jì)算方法對(duì)圖像進(jìn)行進(jìn)一步的分析，基于此，我們已經(jīng)可以做很有意思的事情了。
2018年上海第一屆進(jìn)博會(huì)，我們展示了一個(gè)技術(shù)，叫“億萬(wàn)像素的上?！保掌梢赃M(jìn)行實(shí)時(shí)無(wú)窮盡地推進(jìn)。
可能大家都去過(guò)上海，但絕大部分的人沒(méi)有去過(guò)東方明珠的塔尖（因?yàn)槿サ脑捑蜁?huì)被就地拘留）。這幅圖片是140億像素的上海，我可以隨時(shí)隨地做實(shí)時(shí)渲染，也可以推進(jìn)到東方明珠的塔尖，你甚至可以看到塔尖上有幾根天線。
這個(gè)系統(tǒng)是如何完成的？通過(guò)光場(chǎng)相機(jī)系統(tǒng)，用很多相機(jī)拍攝后進(jìn)行拼接，再進(jìn)行渲染。我們不希望這個(gè)渲染是在集群上進(jìn)行的，因?yàn)樵贫虽秩痉浅０嘿F，而是在手機(jī)等便攜終端上，比如剛才的示范樣片就是在小米電腦上進(jìn)行實(shí)時(shí)渲染。
我們當(dāng)時(shí)利用了計(jì)算成像的算法技術(shù)，其實(shí)就是把圖像進(jìn)行分級(jí)的分割和存儲(chǔ)，最后在存儲(chǔ)之后，就能夠非?？斓厮饕矫恳粋€(gè)部分的模塊，這個(gè)文章發(fā)在TVCG上。
這項(xiàng)技術(shù)最近有很多進(jìn)展，過(guò)去一年，有很多基于深度學(xué)習(xí)的方法，能把整個(gè)圖像壓縮在一個(gè)網(wǎng)絡(luò)之中。
計(jì)算成像另一個(gè)優(yōu)勢(shì)是，不但能做超高清的成像，還能做超高速的成像。
十年前我做了一項(xiàng)工作，叫“超高速下的編碼快門(mén)成像”（Coded Shutter Imaging：Ultra-High Speed），我拍攝了高速運(yùn)動(dòng)的車(chē)輛，試圖通過(guò)圖像的逆問(wèn)題把圖像恢復(fù)出來(lái)，比如高清恢復(fù)車(chē)牌。
傳統(tǒng)的快門(mén)在高速運(yùn)動(dòng)下為什么做不了？
在傳統(tǒng)快門(mén)高拍攝的過(guò)程中，整個(gè)快門(mén)就是關(guān)和開(kāi)，如果把這個(gè)問(wèn)題映射到傅里葉域，首先面臨的是圖像卷積的問(wèn)題，它等于是用模糊的（也就是低頻的）卷積核卷積了一張清晰的圖像，整個(gè)圖像的高頻成分會(huì)被損壞，更糟糕的是逆卷積非常難，因?yàn)檫@是基本的數(shù)學(xué)問(wèn)題。
Sinc function有一個(gè)弊端，首先它的高頻部分會(huì)發(fā)生非常猛烈的振蕩。其次，它會(huì)多次切入零點(diǎn)，如此，這個(gè)乘積就無(wú)法做除法，因?yàn)榈教幎际?點(diǎn)，那怎么求解這個(gè)問(wèn)題？十年前我們就開(kāi)始想如何解決這個(gè)問(wèn)題。
第一種方式是快門(mén)隨機(jī)地開(kāi)/關(guān)，圖像同樣會(huì)被模糊掉。但為什么這個(gè)隨機(jī)的開(kāi)/關(guān)能使得“去模糊”的方法做得更好？因?yàn)殡S機(jī)開(kāi)/關(guān)，等價(jià)于每次開(kāi)的時(shí)候是sinc 函數(shù)，但因?yàn)樗奈恢貌灰粯?，等于把不同的sinc 函數(shù)在里面疊加，其結(jié)果就是這個(gè)頻譜非常好看，因?yàn)橥瑫r(shí)在這個(gè)位置出現(xiàn)0的可能性非常低，我的目標(biāo)是在頻域里不希望出現(xiàn)0點(diǎn)，出現(xiàn)0點(diǎn)沒(méi)辦法除。有了這個(gè)頻譜之后，用編碼成像的方法對(duì)圖像進(jìn)行恢復(fù)，結(jié)果恢復(fù)得很好。
舉個(gè)例子，這是一幅編碼成像的圖片，是我的同事在MIT拍攝的。大家可以猜一下這輛紅色小轎車(chē)是什么型號(hào)？是哪個(gè)廠出的？絕大部分的人會(huì)猜測(cè)它是奧迪，也有人說(shuō)是TOYOTA，但其實(shí)這個(gè)車(chē)通過(guò)編碼成像，恢復(fù)出來(lái)的是大眾的車(chē)牌。在過(guò)去這些年，編碼成像得到了長(zhǎng)足發(fā)展，在高速成像、散焦成像上都能通過(guò)編碼成像得到更好的圖像，過(guò)去幾年很多高質(zhì)量的圖像都是通過(guò)編碼成像技術(shù)獲得。
做智慧城市避不開(kāi)三維城市重建，這在計(jì)算機(jī)視覺(jué)界已經(jīng)研究了很多年，其實(shí)最為出色的解決方案是來(lái)自谷歌的“一日建羅馬”。大家都說(shuō)“羅馬不是一日建成的”，所以他們?cè)诹_馬這樣的城市級(jí)別做了大規(guī)模重建。他們的想法是拍攝大量城市的圖像，把這些城市的圖像通過(guò)相機(jī)位置的標(biāo)定和三維重建的方法進(jìn)行三維重現(xiàn)。
具體展開(kāi)，分為幾個(gè)步驟：
先是針對(duì)大量圖像進(jìn)行位置猜測(cè)，有很多方式，對(duì)城市級(jí)別來(lái)說(shuō)，可以用GPS信號(hào)等數(shù)據(jù)做粗略定位，再通過(guò)特征提取獲取精確的相機(jī)位置，然后再對(duì)圖像特征進(jìn)行匹配和三維關(guān)聯(lián)確認(rèn)，最后得到稀疏的3D點(diǎn)云信息。
對(duì)于大規(guī)模的城市這個(gè)方法非常常用。大家最熟悉的是傾斜攝影，大規(guī)模的城市尺度都是利用無(wú)人機(jī)拍攝然后進(jìn)行計(jì)算，這個(gè)方法本身有幾個(gè)比較嚴(yán)重的問(wèn)題，最主要的問(wèn)題是非常昂貴。
凡是做過(guò)大規(guī)模城市尺度重建的都知道，在集群上運(yùn)算的時(shí)間長(zhǎng)達(dá)半天，其實(shí)半天時(shí)間已經(jīng)非常少見(jiàn)，絕大部分都需要運(yùn)算幾天幾夜，而且，運(yùn)算完后得到的點(diǎn)云依然很差。這是因?yàn)辄c(diǎn)云本身依靠特征來(lái)提取，特征本身是稀疏的，所以得到的點(diǎn)云本身是稀疏的三維點(diǎn)云。
如果這樣給政府做城市級(jí)別的重建，會(huì)非常辛苦，你需要找一個(gè)非常大的藝術(shù)團(tuán)隊(duì)幫你修復(fù)，因?yàn)樗械狞c(diǎn)云都需要把噪音抹掉，把點(diǎn)云修正成幾何形狀，這是所有做過(guò)智慧城市的人都感同身受的。
隨著技術(shù)的發(fā)展，這兩步分別都將得到很大的進(jìn)展。第一個(gè)是三維點(diǎn)云的獲取，傳統(tǒng)三維點(diǎn)云的獲取是依靠?jī)A斜攝影和圖像，現(xiàn)在可以通過(guò)視覺(jué)定位、掃描和點(diǎn)云的LiDAR進(jìn)行補(bǔ)償。
因?yàn)長(zhǎng)iDAR系統(tǒng)本身無(wú)法做三維空間的定位，你可以把LiDAR系統(tǒng)和視覺(jué)相機(jī)混合，靠視覺(jué)相機(jī)進(jìn)行三維定位。
舉個(gè)例子，我的學(xué)生在上科大創(chuàng)辦的岱悟智能，讓用戶(hù)頭上頂著LiDAR和RGB相機(jī)，RGB相機(jī)做定位，LiDAR獲取場(chǎng)景里三維稀疏的點(diǎn)云信息，通過(guò)不斷行走就可以把整個(gè)場(chǎng)景呈現(xiàn)出來(lái)。
我們上次做了一個(gè)嘗試，把這個(gè)設(shè)備裝在小車(chē)上，15分鐘就可以完成一平方公里的地下車(chē)庫(kù)掃描流程，效率非常高。
給大家演示一下我們當(dāng)時(shí)完成的上海科技大學(xué)地下車(chē)庫(kù)的數(shù)字孿生，人徒步完成還是比較吃力（但對(duì)碼工來(lái)說(shuō)走一個(gè)半小時(shí)還是蠻減肥的）大概15-20分鐘就可以完全完成數(shù)據(jù)的采集。三維點(diǎn)云的采集不再需要復(fù)雜的計(jì)算機(jī)視覺(jué)系統(tǒng)，而是用比較簡(jiǎn)單的LiDAR+視覺(jué)定位的方式來(lái)解決，這將成為未來(lái)的大趨勢(shì)。
同理，這個(gè)系統(tǒng)也可以裝在無(wú)人機(jī)上，過(guò)程非?？臁Ｎ覀冏隽艘粋€(gè)嘗試，在上科大一平方公里的范圍內(nèi)進(jìn)行邊飛邊實(shí)時(shí)產(chǎn)生點(diǎn)云，結(jié)果很酷。
幾年前我看過(guò)一個(gè)電影《普羅米修斯》，就是拿三維小球，在三維空間進(jìn)行掃描，隧道場(chǎng)景很快就出現(xiàn)了，也就是說(shuō)這個(gè)夢(mèng)想已經(jīng)成真了，可以非?？斓刈鐾獠繄?chǎng)景的掃描。
有什么用？掃描之后你可以做很有意思的事情。
比如對(duì)工地進(jìn)行監(jiān)控，看工地是否每日按照?qǐng)D紙的規(guī)劃進(jìn)行建設(shè)，隨著多次的掃描，不但可以獲取非常高清的工地三維數(shù)字孿生模型，還可以把無(wú)人機(jī)拍到的視頻信息融合。其實(shí)也就是把圖片和三維幾何的模型融合，切入到模型時(shí)，瞬間可以切換到高清圖片，可以看到每一個(gè)圖片的高清細(xì)節(jié)，效果非?？犰牛掖_實(shí)有用，上海很多社區(qū)都開(kāi)始使用這個(gè)技術(shù)進(jìn)行二緯和三維的融合了。
這對(duì)智慧城市有什么用？
第一，很多智慧城市的模型并不精確，是CG模型，通過(guò)我們的技術(shù)可以進(jìn)行點(diǎn)云數(shù)據(jù)+視頻/圖像融合。
第二，很重要的點(diǎn)，能解決當(dāng)時(shí)王堅(jiān)博士的問(wèn)題：在三維空間里判斷有多少輛車(chē)。
2018年、2019年我們?cè)谛旒覅R商圈做了一個(gè)很有意思的事情。當(dāng)時(shí)我們用上述方式，把整個(gè)徐家匯的商圈進(jìn)行了三維重建。重建之后，把路燈、樓頂視角的視頻融合在一起，現(xiàn)在各位看到的是多個(gè)視角融合的視頻。
如果我把一個(gè)區(qū)域內(nèi)所有的視頻融合在三維空間，我就可以告訴你現(xiàn)在路上有多少輛車(chē)在跑，有多少人在行走，這對(duì)智慧城市來(lái)說(shuō)解決了非常重要的一個(gè)問(wèn)題。有了這套系統(tǒng)，可以做非常多很酷的應(yīng)用，比如可以做碳排放的檢測(cè)，因?yàn)槲抑烙卸嗌佥v車(chē)，耗能是多少。
傳統(tǒng)的三維重建，幾何是幾何、圖片是圖片，幾何和圖像是分離的。下面我想講最為有意思的一部分，《Neural Modeling and Rendering》，用神經(jīng)網(wǎng)絡(luò)的辦法把幾何和圖像融合在一起。
這是來(lái)自英偉達(dá)非?？岬囊粋€(gè)demo，是為了游戲而做的。在這個(gè)demo里所有的幾何都是定死的，但我可以隨意地做風(fēng)格遷徙，比如我希望它是沙漠，它就可以是沙漠，我希望樹(shù)是真實(shí)的，就可以做真實(shí)的樹(shù)。左下角是非常粗略的模型，但是有語(yǔ)義分割。根據(jù)語(yǔ)義分割和三維場(chǎng)景的粗略幾何，可以變換分割成右上角這樣看上去非常真實(shí)的三維圖像。
換言之，我可以通過(guò)學(xué)習(xí)的方法，把粗略的幾何恢復(fù)成非常好的三維的模型，從而大幅度降低人工成本。
過(guò)去十年里，我最為欣賞的一個(gè)項(xiàng)目來(lái)自加州大學(xué)伯克利分校，他們把幾何和外觀融合在一起。
在傳統(tǒng)的方式中，要用點(diǎn)云或mesh來(lái)表示幾何，然后再用貼圖的方法構(gòu)建外觀，如果點(diǎn)云或貼圖的質(zhì)量不好，合成效果就很差。
前面講了，我需要從多視角拍攝圖片重建幾何，那我不如把所有的圖片都輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)NeRF中，訓(xùn)練完之后可以渲染任意視角下的任意圖片，這樣可以實(shí)現(xiàn)無(wú)需幾何先驗(yàn)的幾何重建。
怎樣實(shí)現(xiàn)這件事？用神經(jīng)網(wǎng)絡(luò)完成光線-顏色-深度的映射，每一根光線可以用X、Y、Z，也就是光線的原點(diǎn)以及方向來(lái)表述，通過(guò)網(wǎng)絡(luò)可以告訴你沿著這個(gè)光線應(yīng)該看到什么樣的RGB顏色，此外網(wǎng)絡(luò)還會(huì)預(yù)測(cè)一個(gè)sigma參數(shù)，它代表的是X、Y、Z處的物質(zhì)密度，如果密度很高說(shuō)明存在物體，密度很低說(shuō)明是真空的。
如此一來(lái)我就可以做很有意思的東西，也就是說(shuō)，我們訓(xùn)練網(wǎng)絡(luò)的時(shí)候，可以把幾何和紋理的概念拋棄，我擁有的就是神經(jīng)網(wǎng)絡(luò)，只需完成利用這個(gè)神經(jīng)網(wǎng)絡(luò)從光線到顏色到深度的預(yù)測(cè)，幾何和紋理就自然地生成了，這是我過(guò)去看到的非?？岬墓ぷ?。過(guò)去幾年大家逐漸意識(shí)到，原來(lái)用NeRF框架，不但能做元宇宙物體的生成，也能做元城市級(jí)別的生成。
以上介紹的主要是別人的工作，先說(shuō)一篇《NeRF in the Wild》的工作，跟前面的工作的思路是一致的：也即是輸入很多圖片，同時(shí)這些圖片包含了位置和圖像性質(zhì)，以及一個(gè)很有意思的概念——瞬態(tài)。瞬態(tài)是什么意思呢？比如我在三維空間拍攝了很多圖片，因拍攝的視角不同，有的地方有遮擋，比如樓前面有樹(shù)的遮擋，也有行走的人的遮擋。但因?yàn)槲遗牧撕芏鄨D片，而且是在不同視角拍的，所以會(huì)產(chǎn)生很多不同的視角，唯一不變的就是靜態(tài)幾何，一直在變的是瞬態(tài)。然后我們可以將瞬態(tài)和靜態(tài)幾何一起重建，最后還可以把瞬態(tài)和靜態(tài)幾何進(jìn)行分離。同樣，用NeRF框架，所有一系列的工作，都可以通過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練而完成。
我們看一下它的結(jié)果，非?？?。因?yàn)閳D片是白天和黑夜不同時(shí)刻拍攝的，但我能夠在不同時(shí)刻展現(xiàn)出前景和后景的渲染，沒(méi)有幾何，用NeRF框架、神經(jīng)網(wǎng)絡(luò)表征這么大尺度的場(chǎng)景。
我們?cè)倏匆恍└鼜?fù)雜的場(chǎng)景，比如它可以在布拉格的街區(qū)用網(wǎng)絡(luò)成像來(lái)做。
這是羅馬的噴泉。雖然點(diǎn)云用傳統(tǒng)的三維重建會(huì)很差，但沒(méi)關(guān)系，用NeRF框架可以產(chǎn)生非常好的三維結(jié)構(gòu)。這個(gè)方法不僅能重建外部幾何，也可以在重建內(nèi)部幾何，比如在一個(gè)建筑的內(nèi)部拍攝大量圖片，然后用神經(jīng)網(wǎng)絡(luò)的框架進(jìn)行重建。
這是在印度做的，通過(guò)多視角的圖片，其實(shí)沒(méi)有真正顯示重建幾何，而是隱式地表示三維重建的效果，它是全自動(dòng)的，不需要人去修，所以大家看到這個(gè)結(jié)果應(yīng)該覺(jué)得非常驚艷，如果用artist去修是非常大的工作量。
去年有一篇很有意思的論文《Urban Radiance Field》。想法類(lèi)似，輸入很多圖片，但跟前面論文不一樣的是，它還結(jié)合了LiDAR的點(diǎn)云信號(hào)。
前者的幾何依然需要NeRF訓(xùn)練，但NeRF的訓(xùn)練非常慢，所以他們索性就用LiDAR產(chǎn)生的點(diǎn)云信號(hào)作為輸入，輸出是完整、高清的三維重建，同時(shí)還有一個(gè)高清的視角渲染，這非常酷，從多視角圖片的傾斜攝影技術(shù)往點(diǎn)云融合。
但我當(dāng)時(shí)研究還差了一步，用NeRF的框架做渲染，現(xiàn)在大家可以看到神經(jīng)網(wǎng)絡(luò)的這個(gè)強(qiáng)大功能。
這是一部分渲染的結(jié)果，可以看到上面的點(diǎn)云和光斑變化。這是圣保羅的場(chǎng)景，可以在里面走來(lái)走去，產(chǎn)生相當(dāng)不錯(cuò)的渲染效果。
最為重要的是，這里不需要artist去修，否則人力成本太高了，不可能完成元城市（MetaCity）的重建。不同的國(guó)家和不同的城市都能使用這個(gè)方法，相當(dāng)大規(guī)模的幾何重建渲染，全是依靠NeRF的框架實(shí)現(xiàn)，所以我覺(jué)得它的效果還是非?？岬?。
給大家介紹了基于神經(jīng)網(wǎng)絡(luò)三維重建的工作，很多是別人的工作，也有一部分是我們的工作。
最后我想講，重建做得無(wú)論多好，最重要的是保護(hù)隱私。
給大家講一個(gè)我的故事。2010年，十年前我和林海濱教授做了一個(gè)項(xiàng)目，內(nèi)容是如何在安防系統(tǒng)下進(jìn)行隱私保護(hù)?，F(xiàn)在看來(lái)這個(gè)工作還是非常有意思的，因?yàn)?010年并沒(méi)有想到安防會(huì)發(fā)展到如此高的地步，隱私保護(hù)當(dāng)時(shí)也沒(méi)有受到重視。
前面提到，可以通過(guò)圖片快門(mén)的控制，把曝光變得模糊。我們?cè)谙?，能不能故意把圖片進(jìn)行模糊？模糊了圖片就可以保護(hù)隱私了。
聽(tīng)起來(lái)很容易，但問(wèn)題來(lái)了，模糊完了圖片，怎么保證捕捉重要的信息？比如我需要知道這個(gè)人的行為，但不希望泄露這個(gè)人的身份。
當(dāng)時(shí)我們提出一個(gè)非?？岬母拍?。把一個(gè)視頻用兩種不同的模式進(jìn)行模糊，我們把這兩種模式稱(chēng)為互素的，這里借鑒了數(shù)學(xué)中的素?cái)?shù)概念。
這樣做有什么好處？如果只是給低權(quán)限的人看，只需要給他看模糊線條輪廓，它可以用任何現(xiàn)有的算法，對(duì)監(jiān)控視頻進(jìn)行去模糊，結(jié)果看不到臉，但能看到人的行為。但對(duì)于高權(quán)限的人來(lái)說(shuō)，我可以給到兩個(gè)已經(jīng)模糊后線條輪廓，通過(guò)互素性質(zhì)對(duì)圖像進(jìn)行去模糊，從而產(chǎn)生非常高清的監(jiān)控視頻，我們的論文發(fā)在PAMI上，當(dāng)時(shí)這個(gè)想法還是非?？岬摹?br/>
這個(gè)結(jié)果很有意思，左上角是一個(gè)模糊的圖像，你可以通過(guò)最好的方法進(jìn)行去模糊。右上角和左下角的去模糊方法可以恢復(fù)人在行走的信息，但無(wú)法恢復(fù)出人臉的細(xì)節(jié)。而在右下角，如果是高權(quán)限人群，可以同時(shí)拿到兩個(gè)blur stream，利用互素的性質(zhì)對(duì)整個(gè)圖像進(jìn)行解碼。非常重要的一點(diǎn)是，不需要知道這些圖像用什么kernel進(jìn)行模糊的，就可以對(duì)其進(jìn)行解碼。
另外，我們希望通過(guò)多閃光燈的方法進(jìn)行保護(hù)。可能大家會(huì)覺(jué)得很奇怪，為什么多閃光燈能進(jìn)行隱私保護(hù)？
通過(guò)閃光燈，可以產(chǎn)生影子。閃光燈如果在左邊，影子就會(huì)在右邊。如果閃光燈在右邊，影子會(huì)在左邊。隨著閃光燈位置的變化，影子也會(huì)產(chǎn)生變化。根據(jù)影子的變化，我可以分析這些影子是如何變化的，從而獲取到一個(gè)非常有意思的圖像。雖然我沒(méi)辦法精確知道它的深度是什么，但可以提取出它的深度邊界。
為什么這件事對(duì)隱私保護(hù)很重要？這是一款老舊的車(chē)，通過(guò)多閃光燈的方法，可以非常準(zhǔn)確地把邊界提取出來(lái)。其中一些細(xì)節(jié)，比如看左上角的圖，我知道這個(gè)車(chē)生銹了，但左下角的圖看不出生銹，這是很具體的生銹的紋理，跟深度不相關(guān)的信息，會(huì)被我們輕易抹去。
如果我的安防是由多個(gè)閃光燈組成的，就可以把多個(gè)重要的身份信息隱藏，比如海報(bào)上的字，比如衣服上的花紋，都可以被抹掉，從而起到隱私保護(hù)的作用。
再比如人臉上有很多特征，像左圖里的痣，是非常明顯的身份標(biāo)志，但痣本身是一個(gè)紋理，通過(guò)閃光燈的方法，可以把痣去掉，通過(guò)邊界對(duì)圖像進(jìn)行模糊，刻意去掉這個(gè)信息。
2010年的時(shí)候，美國(guó)對(duì)隱私保護(hù)不夠重視，當(dāng)時(shí)我們兩人寫(xiě)了一個(gè)非常激動(dòng)人心的項(xiàng)目，但被否定了。我記得非常清楚，其中有一個(gè)回復(fù)的意見(jiàn)說(shuō)：隱私保護(hù)是已經(jīng)解決的問(wèn)題，你們?yōu)槭裁催€要再寫(xiě)一個(gè)隱私保護(hù)的提案?？梢?jiàn)大家在做研究的時(shí)候，必須先有先知，要意識(shí)到這個(gè)事情對(duì)整個(gè)社會(huì)的影響。
總結(jié)一下。我給大家介紹的最新的MetaCity的工作，包括2D成像、3D重現(xiàn)的技術(shù)、用神經(jīng)網(wǎng)絡(luò)的建模和渲染方法對(duì)整個(gè)智慧城市進(jìn)行建模，它的最大功效，不需要人工參與，就可以對(duì)渲染起到增強(qiáng)和去噪作為。隱私保護(hù)是重要組成部分，前面講到兩種隱私保護(hù)的方法，我今天特別介紹了用神經(jīng)網(wǎng)絡(luò)，本身它就具有隱私保護(hù)的作用，因?yàn)閭鹘y(tǒng)方式需要傳幾何、圖片，但幾何和圖片全都被編碼在神經(jīng)網(wǎng)絡(luò)中，這個(gè)神經(jīng)網(wǎng)絡(luò)本身又能起到隱私保護(hù)的作用，又能有效地渲染圖片。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
