丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能學(xué)術(shù) 正文
發(fā)私信給我在思考中
發(fā)送

0

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

本文作者: 我在思考中 2022-03-28 09:58
導(dǎo)語(yǔ):計(jì)算機(jī)視覺(jué)如何用來(lái)分析情報(bào)?

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

編譯 | Ailleurs

編輯 | 陳彩嫻

情報(bào)分析是一項(xiàng)重要工作,軍事戰(zhàn)略家、研究人員和記者,都依賴情報(bào)分析來(lái)作出決策、揭露違反國(guó)際協(xié)議的行為,并向公眾展示戰(zhàn)爭(zhēng)的嚴(yán)酷現(xiàn)實(shí)。衛(wèi)星圖像在情報(bào)分析工作中扮演了重要的信息來(lái)源角色。

然而,在烏克蘭,由于大量的云層覆蓋和頻繁的夜間襲擊,各種形式的衛(wèi)星圖像都無(wú)法捕捉地面信息。好消息是,合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)圖像可以穿透云層,但是需要經(jīng)過(guò)專門培訓(xùn)的人員來(lái)對(duì)其圖像進(jìn)行解讀,如能將這項(xiàng)繁瑣的任務(wù)自動(dòng)化,便可以實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)觀察。而目前基于典型RGB圖像開(kāi)發(fā)的計(jì)算機(jī)視覺(jué)方法尚不能很好地解讀SAR圖像。

因此,相關(guān)研究者認(rèn)為,當(dāng)下改進(jìn)針對(duì)SAR圖像的方法、代碼庫(kù)、數(shù)據(jù)集和預(yù)訓(xùn)練模型的獲取和可用性,將有助于烏克蘭情報(bào)機(jī)構(gòu)、研究人員和記者的工作。

近日,伯克利人工智能研究中心發(fā)布了一項(xiàng)新研究,旨在解決SAR圖像的使用受限問(wèn)題。Ritwik Gupta、Colorado Reed、Anja Rohrbach和Trevor Darrell等人提出一種基線方法和預(yù)訓(xùn)練模型,能夠使人們?cè)谧鱿掠畏诸?、語(yǔ)義分割和改變檢測(cè)等任務(wù)時(shí),方便地互換使用RGB和SAR圖像。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖1: SEVIRI儀器于2022年2月28日-3月1日在烏克蘭上空測(cè)量的氣團(tuán)(云層)。來(lái)源:EUMETSAT



1

機(jī)器學(xué)習(xí)與遙感

我們生活在一個(gè)瞬息萬(wàn)變的世界,經(jīng)歷著自然災(zāi)害、社會(huì)動(dòng)蕩、戰(zhàn)爭(zhēng)以及各種混亂事件,它們?cè)诘厍虮砻媪粝铝瞬豢深A(yù)測(cè)的且通常是永久性的痕跡。理解我們所處環(huán)境的變化一直都是一個(gè)歷史性難題??睖y(cè)員們被派去探索新的現(xiàn)實(shí)境況 ,他們分散的調(diào)查發(fā)現(xiàn)經(jīng)常被雜亂地整合,構(gòu)成現(xiàn)實(shí)的一個(gè)來(lái)源。從法國(guó)攝影師納達(dá)爾(Nadar)拍下第一張航拍照片,到前蘇聯(lián)發(fā)射的人類第一顆人造衛(wèi)星“斯普特尼克1號(hào)”(Sputnik 1)的無(wú)線電信號(hào)被用來(lái)分析電離層,保持警覺(jué)狀態(tài)始終都是人類的目標(biāo)。

警覺(jué),或者說(shuō)監(jiān)測(cè),貫穿著人類幾千年歷史,與任何工具一樣,它也一直是一把雙刃劍。從歷史上看,沒(méi)有制衡的監(jiān)測(cè)對(duì)社會(huì)是有害的。相反,適當(dāng)且盡責(zé)的監(jiān)測(cè)則使我們能夠了解有關(guān)世界的深刻真相,進(jìn)而在科學(xué)和人道主義領(lǐng)域取得進(jìn)步?,F(xiàn)在,隨著在軌衛(wèi)星數(shù)量的增長(zhǎng),我們對(duì)于環(huán)境的認(rèn)識(shí)幾乎每天都在更新。過(guò)去,我們只掌握很少的信息,而今天,我們已經(jīng)擁有了超過(guò)我們所能夠有意義地從中提取知識(shí)的范圍的大量數(shù)據(jù)。儲(chǔ)存和理解這些數(shù)據(jù)中所含信息是一項(xiàng)日益緊迫的工程挑戰(zhàn)。

由于每天都有數(shù)百TB的數(shù)據(jù)從衛(wèi)星下行傳送到數(shù)據(jù)中心,通過(guò)人工處理從這些數(shù)據(jù)中獲取知識(shí)和可執(zhí)行建議,已經(jīng)成為一項(xiàng)無(wú)法完成的任務(wù)。最廣泛使用的遙感數(shù)據(jù)形式是光電 (electro-optical,EO)衛(wèi)星圖像,這種圖像很常見(jiàn),任何使用過(guò)谷歌地圖或類似測(cè)繪軟件的人都跟光電圖像“打過(guò)交道”。

運(yùn)用機(jī)器學(xué)習(xí)的光電遙感圖像處理技術(shù)已被廣泛應(yīng)用于科學(xué)和商業(yè)領(lǐng)域。從改善降水預(yù)測(cè),到通過(guò)識(shí)別磚窯來(lái)對(duì)人類奴隸制做循證分析(磚窯是現(xiàn)代奴隸制的典型發(fā)生場(chǎng)所),再到對(duì)整個(gè)城市進(jìn)行分類識(shí)別以改善交通路線選擇,機(jī)器學(xué)習(xí)在光電圖像上的產(chǎn)出已經(jīng)融入了人類社會(huì)的方方面面。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖2: 基輔地區(qū)的超高分辨率光電衛(wèi)星圖像,由Maxar公司于2022年2月28日拍攝。圖像顯示,橫跨斯特雷鎮(zhèn)河的一座橋似乎已被摧毀。

提供光電圖像的常用衛(wèi)星星座包括美國(guó)地質(zhì)調(diào)查局運(yùn)營(yíng)的陸地衛(wèi)星系列(Landsat),和歐洲航天局運(yùn)營(yíng)的哥白尼哨兵2號(hào)(Copernicus Sentinel-2)。這些星座提供10-60米分辨率的圖像,盡管這對(duì)于許多場(chǎng)景來(lái)說(shuō)已經(jīng)足夠用了,但它們無(wú)法觀察到更精細(xì)的細(xì)節(jié)。



2

光電衛(wèi)星圖像的先進(jìn)性與局限性

在過(guò)去幾年里,豐富的商業(yè)資源帶來(lái)了超高分辨率的光電圖像。Planet、Maxar、Airbus等公司每天都在對(duì)整個(gè)地球進(jìn)行成像,他們提供了極為精確的圖像,分辨率介于0.3-2.0米之間,并且圖像重訪率很高。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖3: Maxar公司的超高分辨率光電圖像示例,顯示了浮式生產(chǎn)和儲(chǔ)存,卸載裝置,以及一艘油輪。

高分辨率圖像提供的更高分辨率能夠支持一系列的下游使用場(chǎng)景。比如,可以在更精細(xì)的尺度上檢測(cè)土壤侵蝕,還可以在災(zāi)害之后對(duì)建筑物的損壞進(jìn)行分類。機(jī)器學(xué)習(xí)方法必須要適應(yīng)超高分辨率衛(wèi)星圖像。隨著敏銳度的提高,像素的數(shù)量和可識(shí)別的類別數(shù)量已經(jīng)增加了幾個(gè)數(shù)量級(jí)。計(jì)算機(jī)視覺(jué)研究對(duì)此給予的回應(yīng)包括,降低計(jì)算成本以學(xué)習(xí)衛(wèi)星圖像的有效表示,建立方法來(lái)減輕標(biāo)注人員的工作負(fù)擔(dān),設(shè)計(jì)大型軟件框架,來(lái)方便計(jì)算機(jī)視覺(jué)從業(yè)者對(duì)豐富的圖像來(lái)源進(jìn)行處理。

通常來(lái)說(shuō),現(xiàn)有用于其它非航空RGB圖像的計(jì)算機(jī)視覺(jué)方法,能夠很好遷移到衛(wèi)星圖像上來(lái),這使得提供高精度結(jié)果的商業(yè)化超高分辨率圖像能夠立即被投入使用。

然而,盡管高分辨率光電圖像帶來(lái)如此多的益處,它仍具有一定的局限性。

對(duì)于戰(zhàn)爭(zhēng)和自然災(zāi)害等高度混亂和危險(xiǎn)的情況,持續(xù)并且可靠的地面觀測(cè)是至關(guān)重要的。遺憾的是,在這一點(diǎn)上,光電圖像無(wú)法滿足人們的全部監(jiān)測(cè)需求。光電圖像只能在白天探測(cè)到光源,而現(xiàn)實(shí)情況是,在任何一個(gè)時(shí)間,都有接近2/3的地面被云層覆蓋。我們必須考慮云層問(wèn)題,否則想要知道地面上發(fā)生了什么重要的事情時(shí),這種地面上的阻礙就成了一個(gè)大麻煩。為了解決這個(gè)問(wèn)題,機(jī)器學(xué)習(xí)方法試圖去移除圖像上的云層,來(lái)預(yù)測(cè)在無(wú)云的情況下觀測(cè)目標(biāo)會(huì)是什么樣,但是這個(gè)過(guò)程中所丟失的信息基本上是不可恢復(fù)的。



3

SAR:夜間也能持續(xù)監(jiān)測(cè)地面

合成孔徑雷達(dá)(SAR)圖像是一種主動(dòng)遙感,衛(wèi)星將微波雷達(dá)波脈沖向下傳輸?shù)降厍虮砻?,這些雷達(dá)波從地面和地面的任何物體上反射回衛(wèi)星。通過(guò)在時(shí)間和空間維度上將這些脈沖處理形成SAR圖像,其中的每一個(gè)像素都是由不同雷達(dá)散射的疊加。

雷達(dá)波能穿透云層,而且由于衛(wèi)星持續(xù)地產(chǎn)生雷達(dá)波,所以即使在夜間也能照亮地球表面。合成孔徑雷達(dá)用途廣泛,可用于估測(cè)地表粗糙度、繪制大面積洪水范圍,以及監(jiān)測(cè)受保護(hù)水域中是否有非法漁船出沒(méi)。

目前,有多個(gè)SAR衛(wèi)星星座在運(yùn)行。哥白尼哨兵1號(hào)星座向人們提供分辨率在10-80米之間的圖像(最常見(jiàn)的是10米分辨率圖像)。大多數(shù)商業(yè)SAR提供商,如芬蘭的ICEYE的公司和美國(guó)的Capella Space公司,能夠提供分辨率在0.5米的圖像。隨著衛(wèi)星星座數(shù)量的增長(zhǎng)和政府法規(guī)的發(fā)展,在即將推出的發(fā)射項(xiàng)目中,其它商業(yè)SAR提供商的目標(biāo)是制作出分辨率在0.5米以下且具有高重訪率的圖像。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖4: Capella Space公司提供的烏克蘭-白俄羅斯邊界上的超高分辨率合成孔徑雷達(dá)圖像

雖然合成孔徑雷達(dá)圖像乍一看可能與光電圖像非常相似,但其物理原理卻大不相同,這導(dǎo)致圖像產(chǎn)出中出現(xiàn)了許多有趣的效應(yīng),這些效應(yīng)可能是違反直覺(jué)的,并且與現(xiàn)代計(jì)算機(jī)視覺(jué)不相容。有三種常見(jiàn)的效應(yīng):極化效應(yīng)(polarization),疊掩效應(yīng)(layover),多路徑效應(yīng)(multi-path)。

極化效應(yīng)

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖5: 來(lái)自哨兵1號(hào)(Sentinel-1)輻射測(cè)量地形校正圖像,在烏克蘭第聶伯羅(Dnipro)的同一區(qū)域,VH極化(左)和VV極化(右)顯示出差異。雷達(dá)在相應(yīng)的局部區(qū)域的回波可能不同。

SAR衛(wèi)星上的雷達(dá)天線經(jīng)常發(fā)射極化的雷達(dá)波。極化方向是波電場(chǎng)的方向。地面上的物體對(duì)雷達(dá)波的不同極化給予不同的反應(yīng) 。因此,SAR衛(wèi)星通常以雙極化或四極化模式運(yùn)行,在水平(H)或垂直(V)方向上傳播極化波,從而產(chǎn)生HH、HV、VH和VV四種波段。所以,盡管我們可以將此與電光圖像中的RGB波段進(jìn)行對(duì)比,但其物理學(xué)原理是不同的。

疊掩效應(yīng)

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖6: Capella公司的超高分辨率SAR圖像示例。體育場(chǎng)的上部似乎與其后方的停車場(chǎng)重疊。

疊掩效應(yīng)是指雷達(dá)波束先到達(dá)距離更近的目標(biāo)物體頂部,后達(dá)到更遠(yuǎn)的目標(biāo)物體底部,因而頂部先成像,導(dǎo)致物體的頂部與底部圖像形成重疊。當(dāng)物體特別高時(shí),這種情況就會(huì)發(fā)生。從視覺(jué)上看,高層建筑呈現(xiàn)出側(cè)臥狀,而山脈看起來(lái)則是山峰與基底相交。

多路徑效應(yīng)

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖7: 斜向SAR圖像中橋梁的多徑效應(yīng)示例

當(dāng)雷達(dá)波從地面上的物體反射,并在返回 SAR 傳感器之前發(fā)生多次反彈時(shí),就會(huì)發(fā)生多路徑效應(yīng)。多徑效應(yīng)會(huì)導(dǎo)致目標(biāo)物體在生成的圖像中以各種變換形式出現(xiàn)。這種效應(yīng)在 SAR 圖像中隨處可見(jiàn),但在城市地區(qū)、森林和其他密集環(huán)境中尤為明顯。

基于傳統(tǒng)RGB圖像的現(xiàn)有計(jì)算機(jī)視覺(jué)方法并未考慮到上述這些效應(yīng)。在光電衛(wèi)星圖像上訓(xùn)練的物體檢測(cè)器,預(yù)設(shè)一個(gè)特定物體只會(huì)出現(xiàn)一次,或者該物體在不同的環(huán)境中看起來(lái)相對(duì)相似,而不是可能與周圍的物體呈現(xiàn)鏡像、分散或者交疊狀態(tài)。遮擋的本質(zhì)和光電圖像中遮擋假設(shè)的視覺(jué)原理,不能直接運(yùn)用到SAR圖像上來(lái)。

總而言之,現(xiàn)有的計(jì)算機(jī)視覺(jué)技術(shù)可以應(yīng)用于 SAR 圖像,但性能會(huì)降低,并且會(huì)出現(xiàn)一套系統(tǒng)性錯(cuò)誤,而這些錯(cuò)誤可以通過(guò)專門針對(duì)SAR圖像模式的技術(shù)方法來(lái)解決。



4

SAR圖像的計(jì)算機(jī)視覺(jué)技術(shù)用于烏克蘭情報(bào)分析

在烏克蘭,圖像分析師目前使用區(qū)域上空可獲取的光電圖像和 SAR 圖像。當(dāng)光電圖像可用時(shí),為該模式構(gòu)建的現(xiàn)有計(jì)算機(jī)視覺(jué)工具可有助于加快情報(bào)收集過(guò)程。但是,當(dāng)只有 SAR 圖像可用時(shí),這些工具就失效了。圖像分析人員不得不求助于人工分析,這既耗費(fèi)時(shí)間又容易出錯(cuò)。國(guó)際上的一些其它機(jī)構(gòu)正在探索這個(gè)問(wèn)題,但就可用數(shù)據(jù)量而言,這仍然是一個(gè)未被充分研究的領(lǐng)域。

伯克利人工智能研究中心創(chuàng)建了一套初始方法和模型,這些方法和模型從公開(kāi)發(fā)布的 BigEarthNet-MM 數(shù)據(jù)集和Capella 的 Open Data 數(shù)據(jù)中,集中學(xué)習(xí)RGB圖像 、SAR圖像以及RGB+SAR共配圖像的魯棒表示。這兩個(gè)數(shù)據(jù)集都包含RGB和SAR圖像。通過(guò)使用這些模型,圖像分析師能夠交替使用 RGB、SAR 或 RGB+SAR共配圖像來(lái)執(zhí)行多種下游視覺(jué)任務(wù),例如圖像分類、語(yǔ)義分割、目標(biāo)檢測(cè)或變化檢測(cè)。

SAR與EO圖像是具有不同現(xiàn)象學(xué)特征的數(shù)據(jù)源,在這個(gè)問(wèn)題上,研究人員發(fā)現(xiàn)在使用SAR圖像來(lái)進(jìn)行表示學(xué)習(xí)時(shí),Vision Transformer (ViT) 是一種特別有效的架構(gòu),因?yàn)樗司矸e神經(jīng)網(wǎng)絡(luò)所固有的尺度和位移不變的歸納偏差。在進(jìn)行RGB、SAR和RGB+SAR圖像的表示學(xué)習(xí)時(shí),MAERS方法表現(xiàn)最佳,它基于何愷明等人(2021)提出的掩碼化自動(dòng)編碼器(Masked Autoencoder,MAE),這是一種可擴(kuò)展的自監(jiān)督學(xué)習(xí)網(wǎng)絡(luò):它將掩碼化數(shù)據(jù)作為輸入,學(xué)習(xí)對(duì)輸入數(shù)據(jù)的編碼,然后學(xué)習(xí)對(duì)數(shù)據(jù)的解碼,對(duì)非掩碼輸入數(shù)據(jù)進(jìn)行重建。

與過(guò)往流行的對(duì)比學(xué)習(xí)視覺(jué)表示框架不同,MAE網(wǎng)絡(luò)并不預(yù)設(shè)數(shù)據(jù)中存在某些可能對(duì)于SAR特征而言成問(wèn)題的增強(qiáng)不變性,相反,它只依賴對(duì)原始輸入數(shù)據(jù)的重建,這對(duì)于 RGB、SAR或RGB+ SAR模型來(lái)說(shuō)是一個(gè)不可知過(guò)程。

如圖8所示,通過(guò)學(xué)習(xí)RGB、SAR和RGB+SAR通道的獨(dú)立輸入投影層,MAERS進(jìn)一步對(duì)MAE加以擴(kuò)展,使用共享的ViT網(wǎng)絡(luò)對(duì)這些投影層的輸出進(jìn)行編碼,然后使用獨(dú)立的輸出投影層對(duì)RGB、SAR或RGB+SAR通道進(jìn)行解碼。其后,輸入投影層和共享的ViT網(wǎng)絡(luò)可以運(yùn)用到下游任務(wù)中,比如目標(biāo)檢測(cè)或變化檢測(cè),在這些任務(wù)中,RGB、SAR或RGB+SAR都可以進(jìn)入輸入編碼器。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖8: 上方為MAERS學(xué)習(xí)聯(lián)合表示過(guò)程的可視化,下方為一個(gè)編碼器,可用于執(zhí)行下游任務(wù),比如用RGB或SAR或RGB+ SAR模型進(jìn)行對(duì)象檢測(cè)。

學(xué)習(xí)RGB、SAR和RGB+SAR模式的表示,有助于執(zhí)行一系列的下游任務(wù),如基于內(nèi)容的圖像檢索、分類、分割和檢測(cè)。為了證明所學(xué)習(xí)的表示方法的有效性,研究者在已有的基準(zhǔn)上進(jìn)行了實(shí)驗(yàn):一是對(duì)BigEarthNet-MM數(shù)據(jù)集中共配的EO和SAR場(chǎng)景進(jìn)行多標(biāo)簽分類;二是對(duì)SpaceNet 6數(shù)據(jù)集中超高分辨率的EO和SAR圖像進(jìn)行語(yǔ)義分割。

對(duì)BigEarth-MM數(shù)據(jù)集進(jìn)行多標(biāo)簽分類

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖9:(左)對(duì)哨兵2號(hào)的EO圖像和哨兵1號(hào)的SAR圖像進(jìn)行分割,將其用于執(zhí)行BigEarth-MM Challenge規(guī)定的多標(biāo)簽分類任務(wù)。給多模型編碼器添加了一個(gè)線性層,然后進(jìn)行端到端的微調(diào)。

MAERS使用一組用于ViT編碼器的ImageNet權(quán)重進(jìn)行初始化,然后在BigEarthNet-MM數(shù)據(jù)集上對(duì)RGB、SAR和RGB+SAR圖像進(jìn)行20個(gè)周期的預(yù)訓(xùn)練。研究者在MAERS編碼器上附加了一個(gè)單一的線性層,并通過(guò)對(duì)整個(gè)模型進(jìn)行20個(gè)周期的微調(diào)來(lái)學(xué)習(xí)多標(biāo)簽分類任務(wù)。

結(jié)果顯示在表1中。經(jīng)過(guò)微調(diào)的MAERS,優(yōu)于BigEarthNet-MM論文所呈現(xiàn)的最佳RGB+SAR結(jié)果。而且,為了RGB、SAR和RGB+SAR輸入模式的表示學(xué)習(xí),對(duì)本身已經(jīng)近乎完美的MAE架構(gòu)加以調(diào)整后,它依然產(chǎn)生了最好的結(jié)果。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

表1: BigEarthNet-MM測(cè)試集所報(bào)告的每一類F2分?jǐn)?shù)。

對(duì)EO和SAR圖像進(jìn)行語(yǔ)義分割

研究者進(jìn)一步做了對(duì)建筑足跡進(jìn)行語(yǔ)義分割的遷移學(xué)習(xí)實(shí)驗(yàn),這是一項(xiàng)“及時(shí)雨”性質(zhì)的任務(wù),將有助于圖像分析人員了解烏克蘭所遭受的破壞情況,并且它是在對(duì)建筑損失做評(píng)估之前的一個(gè)先行工作。對(duì)于政府官員、記者,和想要了解俄羅斯對(duì)基礎(chǔ)設(shè)施和平民襲擊的范圍和嚴(yán)重程度的人權(quán)組織來(lái)說(shuō),建筑損失評(píng)估都有直接的意義。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖10: 構(gòu)建基于SAR圖像的MAERS分割示例,取自SpaceNet6。其中左邊顯示的是RGB圖像,右邊顯示的是疊加了分割結(jié)果的SAR圖像。SAR圖像以VV、VH和VV/VH波段的假色顯示。

在該實(shí)驗(yàn)中,研究者使用SpaceNet 6數(shù)據(jù)集作為一個(gè)開(kāi)放和公開(kāi)的基準(zhǔn),來(lái)其用以構(gòu)建來(lái)自Capella Space的VHR SAR圖像中的足跡檢測(cè)的表示學(xué)習(xí)的有效性。他們使用這個(gè)編碼器與UperNet架構(gòu)串聯(lián)用于語(yǔ)義分割。圖11顯示了在只有SAR圖像輸入的SpaceNet 6的封閉驗(yàn)證組件中,在訓(xùn)練使用SAR或RGB圖像的分割模型上分割建筑所占用的IoU性能。與從頭開(kāi)始訓(xùn)練RGB+SAR模型或采用完全相同的結(jié)構(gòu)調(diào)整ImageNet權(quán)值相比,MAERS預(yù)訓(xùn)練模型可提高約13個(gè)點(diǎn)。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

圖11: 使用帶有ViT主干網(wǎng)絡(luò)的UperNet分割模型,在SpaceNet 6 Challenge上構(gòu)建分割I(lǐng)oU。

這表明,MAERS可以學(xué)習(xí)RGB+SAR模式的魯棒表示,因此在完成下游任務(wù)時(shí),使用EO或SAR圖像都是可行的。需要注意的是,在建筑物分割任務(wù)中,SAR圖像的現(xiàn)象學(xué)特征使其具有一定劣勢(shì),而使用EO圖像執(zhí)行該任務(wù)可獲得大于90的IoU得分。這便給SAR技術(shù)留下了一個(gè)巨大的空白,有待進(jìn)一步研究。不過(guò),當(dāng)環(huán)境條件不利于EO圖像的捕獲時(shí),從SAR圖像中獲得其性能仍十分重要。



5

技術(shù)與人道主義的合流

目前這項(xiàng)研究只得出了初步結(jié)果,但仍顯示出了很強(qiáng)的說(shuō)服力。研究人員表示,他們將向人道主義伙伴提供研究模型,幫助他們對(duì)居民區(qū)和其他平民區(qū)進(jìn)行環(huán)境變化檢測(cè),以更好地揭示入侵者在烏克蘭犯下的戰(zhàn)爭(zhēng)罪行。

當(dāng)前,人道主義組織正密切關(guān)注著烏克蘭的戰(zhàn)爭(zhēng),這些模型將有助于提高人道主義工作的效率。不過(guò),與任何其它技術(shù)一樣,我們需要警惕技術(shù)被不恰當(dāng)?shù)貫E用。研究人員考慮到了這一點(diǎn),他們?cè)谠O(shè)計(jì)模型時(shí),參考了在人道主義背景下進(jìn)行情報(bào)和圖像分析的人員所提供的意見(jiàn),將他們的想法、評(píng)論和批評(píng)納入考慮,從而提供了一種符合人類利益的工具,并在使用安全方面加上了一把鎖。

原文鏈接:
https://bair.berkeley.edu/blog/?refresh=1
為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

為了幫助烏克蘭分析情報(bào),伯克利團(tuán)隊(duì)用何愷明提出的MAE神經(jīng)網(wǎng)絡(luò)加速雷達(dá)圖像分析

分享:
相關(guān)文章

運(yùn)營(yíng)

當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)