0
| 本文作者： AI研習(xí)社 | 2020-01-06 17:42 |
為了幫助各位學(xué)術(shù)青年更好地學(xué)習(xí)前沿研究成果和技術(shù)，AI科技評(píng)論聯(lián)合Paper 研習(xí)社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你學(xué)習(xí)參考。以下是今日的精選內(nèi)容——
ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
Deep Learning for 3D Point Clouds: A Survey
Causal Discovery with Reinforcement Learning
A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art
From Drinking Philosophers to Wandering Robots
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
Bayesian Learning via Stochastic Gradient Langevin Dynamics
Computational model discovery with reinforcement learning
Quantum Adversarial Machine Learning
論文名稱：ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
作者：ZhenzhongLan /MingdaChen /SebastianGoodman
發(fā)表時(shí)間：2018/10/30
論文鏈接：https://paper.yanxishe.com/review/8078?from=leiphonecolumn_paperreview0106
推薦理由：bert模型開(kāi)啟了自然語(yǔ)言理解的預(yù)訓(xùn)練時(shí)代，很多和語(yǔ)義解析的相關(guān)任務(wù)都可以通過(guò)bert模型來(lái)提高效果，但是這也帶來(lái)了一些問(wèn)題，bert參數(shù)過(guò)多，模型過(guò)于復(fù)雜，需要較大的計(jì)算能力才可以支持，所以這導(dǎo)致了很大的問(wèn)題，如何讓模型變小，降低內(nèi)存消耗，減少訓(xùn)練時(shí)間稱為了當(dāng)前的問(wèn)題，也是必要的方向，albert正式解決這個(gè)問(wèn)題的，它提出了兩種降低內(nèi)存消耗和提高BERT訓(xùn)練速度的參數(shù)約簡(jiǎn)技術(shù)。不僅解決了前面的問(wèn)題，并且這種預(yù)訓(xùn)練模型比之前的bert的預(yù)訓(xùn)練模型的效果更好，在很多任務(wù)上都得到了超越。
論文名稱：FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
作者：Li Lingzhi /Bao Jianmin /Yang Hao /Chen Dong /Wen Fang
發(fā)表時(shí)間：2019/12/31
論文鏈接： https://paper.yanxishe.com/review/8077?from=leiphonecolumn_paperreview0106
推薦理由：這是北大和微軟亞研院的聯(lián)合工作，考慮的是人臉交換的問(wèn)題。
這篇論文提出了一個(gè)名為FaceShifter的新穎的兩階段框架，用于實(shí)現(xiàn)高保真度和遮擋意識(shí)的人臉交換。與許多現(xiàn)有的人臉交換作品在合成交換的面孔時(shí)僅利用目標(biāo)圖像的有限信息不同，F(xiàn)aceShifter在其第一階段通過(guò)充分自適應(yīng)地利用和集成目標(biāo)屬性，以高保真度生成交換的面孔。這篇論文提出了一種新穎的屬性編碼器，用于提取多級(jí)目標(biāo)人臉屬性，并提出了一種經(jīng)過(guò)精心設(shè)計(jì)的自適應(yīng)注意力非正規(guī)化層的新生成器，以自適應(yīng)地集成身份和人臉合成屬性。為了解決具有挑戰(zhàn)性的面部遮擋，F(xiàn)aceShifter附加了第二階段，該階段包括一個(gè)新穎的啟發(fā)式錯(cuò)誤確認(rèn)細(xì)化網(wǎng)絡(luò)。它經(jīng)過(guò)訓(xùn)練可以以自我監(jiān)督的方式恢復(fù)異常區(qū)域，而無(wú)需任何手動(dòng)注釋。在自然面孔上進(jìn)行的大量實(shí)驗(yàn)表明，與其他最新方法相比，F(xiàn)aceShifter的交換結(jié)果不僅在感知上更具吸引力，而且還保留了更好的身份。
論文名稱：Deep Learning for 3D Point Clouds: A Survey
作者：Guo Yulan /Wang Hanyun /Hu Qingyong /Liu Hao /Liu Li /Bennamoun Mohammed
發(fā)表時(shí)間：2019/12/27
論文鏈接： https://paper.yanxishe.com/review/8076?from=leiphonecolumn_paperreview0106
推薦理由：這是國(guó)防科大關(guān)于三維點(diǎn)云深度學(xué)習(xí)的研究綜述。
點(diǎn)云學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛和機(jī)器人等諸多領(lǐng)域都有廣泛應(yīng)用。作為人工智能領(lǐng)域的主要技術(shù)，深度學(xué)習(xí)已被成功地用于解決各種二維視覺(jué)問(wèn)題。但是，由于三維點(diǎn)云在處理過(guò)程中面臨一些獨(dú)特的挑戰(zhàn)，所以點(diǎn)云領(lǐng)域的深度學(xué)習(xí)技術(shù)仍然處于發(fā)展初期。為了促進(jìn)點(diǎn)云學(xué)習(xí)未來(lái)的研究，這篇論文全面綜述了點(diǎn)云深度學(xué)習(xí)方法的研究進(jìn)展。這些方法主要包括3D形狀分類、3D目標(biāo)檢測(cè)和追蹤以及3D點(diǎn)云分割。此外，這篇論文還展示了在當(dāng)前一些公開(kāi)可用數(shù)據(jù)集上的比較結(jié)果，提出了具有洞察力的觀察結(jié)果和啟發(fā)性的未來(lái)研究方向。
論文名稱：Causal Discovery with Reinforcement Learning
作者：Zhu Shengyu /Ng Ignavier /Chen Zhitang
發(fā)表時(shí)間：2019/6/11
論文鏈接：https://paper.yanxishe.com/review/8075?from=leiphonecolumn_paperreview0106
推薦理由：這篇論文是華為諾亞方舟實(shí)驗(yàn)室被ICLR 2020接收的一篇滿分論文，考慮的是因果研究中的因果發(fā)現(xiàn)問(wèn)題。
作為下一個(gè)潛在的熱點(diǎn)，因果研究已經(jīng)吸引了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的的廣泛關(guān)注。因果研究中一個(gè)經(jīng)典的問(wèn)題是因果發(fā)現(xiàn)問(wèn)題，即從被動(dòng)可觀測(cè)的數(shù)據(jù)中發(fā)現(xiàn)潛在的因果圖結(jié)構(gòu)。這篇論文將強(qiáng)化學(xué)習(xí)應(yīng)用到打分法的因果發(fā)現(xiàn)算法中，通過(guò)基于自注意力機(jī)制的encoder-decoder神經(jīng)網(wǎng)絡(luò)模型探索數(shù)據(jù)之間的關(guān)系，結(jié)合因果結(jié)構(gòu)的條件，并使用策略梯度的強(qiáng)化學(xué)習(xí)算法對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，最終得到因果圖結(jié)構(gòu)。這個(gè)方法比一些傳統(tǒng)的因果發(fā)現(xiàn)算法和近期的基于梯度的算法在中等規(guī)模的圖上的表現(xiàn)都更好，并且可以非常靈活地和任意的打分函數(shù)結(jié)合使用。
論文名稱：A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art
作者：Pham Quoc-Viet /Fang Fang /Ha Vu Nguyen /Piran Md. Jalil /Le Mai /Le Long Bao /Hwang Won-Joo /Ding Zhiguo
發(fā)表時(shí)間：2019/6/20
論文鏈接：https://paper.yanxishe.com/review/8074?from=leiphonecolumn_paperreview0106
推薦理由：這是一篇邊緣計(jì)算相關(guān)的綜述論文。
在新的計(jì)算密集型應(yīng)用程序的出現(xiàn)以及物聯(lián)網(wǎng)（IoT）的愿景的推動(dòng)下，可以預(yù)見(jiàn)的是，新興的5G網(wǎng)絡(luò)將面臨流量和計(jì)算需求前所未有的增長(zhǎng)。但是，最終用戶大多具有有限的存儲(chǔ)容量和有限的處理能力，因此，最近如何在資源受限的用戶上運(yùn)行計(jì)算密集型應(yīng)用程序已成為一個(gè)自然而然的問(wèn)題。移動(dòng)邊緣計(jì)算（MEC）是新興的第五代移動(dòng)網(wǎng)絡(luò)中的一項(xiàng)關(guān)鍵技術(shù)，它可以通過(guò)托管計(jì)算密集型應(yīng)用程序，在發(fā)送到云端之前處理大數(shù)據(jù)，在無(wú)線接入網(wǎng)中提供云計(jì)算功能來(lái)優(yōu)化移動(dòng)資源。 移動(dòng)邊緣計(jì)算支持嚴(yán)格要求實(shí)時(shí)響應(yīng)的各種應(yīng)用，例如無(wú)人駕駛車輛，增強(qiáng)現(xiàn)實(shí)，機(jī)器人技術(shù)和沉浸式媒體。在5G網(wǎng)絡(luò)中成功實(shí)現(xiàn)MEC仍處于起步階段，需要學(xué)術(shù)界和行業(yè)界的不斷努力。這篇綜述首先提供了MEC技術(shù)及其潛在用例和應(yīng)用的整體概述。然后概述了有關(guān)MEC與將在5G及更高版本中部署的新技術(shù)的集成的最新研究。這篇論文還總結(jié)了用于邊緣計(jì)算的測(cè)試平臺(tái)和實(shí)驗(yàn)評(píng)估以及開(kāi)源活動(dòng)，進(jìn)一步總結(jié)了從最新研究工作中汲取的教訓(xùn)，并討論了MEC研究的挑戰(zhàn)和潛在的未來(lái)方向。
論文名稱：From Drinking Philosophers to Wandering Robots
作者：Sahin Yunus Emre /Ozay Necmiye
發(fā)表時(shí)間：2020/1/2
論文鏈接：https://paper.yanxishe.com/review/8073?from=leiphonecolumn_paperreview0106
推薦理由：這篇論文考慮的是多機(jī)器人路徑執(zhí)行的問(wèn)題。
在這個(gè)問(wèn)題中，一組機(jī)器人從他們的起始點(diǎn)沿預(yù)定義路徑移動(dòng)到目標(biāo)位置，同時(shí)要避免面對(duì)異步時(shí)發(fā)生沖突和死鎖。這篇論文重構(gòu)該問(wèn)題為分布式資源重定向問(wèn)題，具體而言，即是著名的哲學(xué)家飲酒問(wèn)題（Drinking Philosophers Problem，DrPP）。通過(guò)精心設(shè)計(jì)獲取共享資源的飲酒環(huán)節(jié)，這篇論文證明DrPP的任何現(xiàn)有解決方案都可用于設(shè)計(jì)集體無(wú)碰撞且無(wú)死鎖的機(jī)器人控制策略。這篇論文提出的方法不需要機(jī)器人知道或估計(jì)其他機(jī)器人的速度曲線，并且不需要分布式控制策略。通過(guò)仿真，這篇論文驗(yàn)證了所提方法的有效性。
論文名稱：DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
作者：Tolosana Ruben /Vera-Rodriguez Ruben /Fierrez Julian /Morales Aythami /Ortega-Garcia Javier
發(fā)表時(shí)間：2020/1/1
論文鏈接：https://paper.yanxishe.com/review/8072?from=leiphonecolumn_paperreview0106
推薦理由：這是一篇人臉造假相關(guān)的綜述文章。
隨著DeepFake的出現(xiàn)，現(xiàn)在人臉造假變得越來(lái)越容易，也引發(fā)了大量對(duì)抗此類造假技術(shù)的研究。這篇論文對(duì)操縱人臉圖像的技術(shù)（包括DeepFake方法）以及檢測(cè)此類操縱的方法進(jìn)行了全面的回顧，包含四種類型的面部操作：全臉合成，面部身份交換，面部屬性操作和面部表情操作。對(duì)于每種操縱類型，這篇論文回顧了有關(guān)操縱技術(shù)，現(xiàn)有公共數(shù)據(jù)庫(kù)以及假冒檢測(cè)相關(guān)的方法。
這篇論文也探討了這個(gè)領(lǐng)域的發(fā)展趨勢(shì)，以及一些正在進(jìn)展中的工作，例如最近的DeepFake Detection Challenge。
論文名稱：Bayesian Learning via Stochastic Gradient Langevin Dynamics
作者：Max Welling /Yee Whye Teh
發(fā)表時(shí)間：2011/1/18
論文鏈接：https://paper.yanxishe.com/review/8070?from=leiphonecolumn_paperreview0106
推薦理由：本論文提出了一種新的基于小批量在線學(xué)習(xí)的大規(guī)模數(shù)據(jù)集學(xué)習(xí)框架。通過(guò)在標(biāo)準(zhǔn)隨機(jī)梯度優(yōu)化算法中加入適量的噪聲，證明了當(dāng)?shù)鷮⑹諗康秸鎸?shí)后驗(yàn)分布的樣本。這種在優(yōu)化和貝葉斯后驗(yàn)抽樣之間的接縫轉(zhuǎn)移提供了一種內(nèi)在的防止過(guò)度捕撈的保護(hù)。
然后論文還提出了一種實(shí)用的后驗(yàn)統(tǒng)計(jì)蒙特卡羅估計(jì)方法，該方法監(jiān)測(cè)“采樣閾值”，并在超過(guò)該閾值后采集樣本。
論文名稱：Computational model discovery with reinforcement learning
作者：Bassenne Maxime /Lozano-Durán Adrián
發(fā)表時(shí)間：2019/12/29
論文鏈接：https://paper.yanxishe.com/review/8165?from=leiphonecolumn_paperreview0106
推薦理由：這項(xiàng)研究的動(dòng)機(jī)是利用人工智能研究中的最新突破，為計(jì)算科學(xué)中遇到的重要科學(xué)問(wèn)題提供新穎的解決方案。為了解決在發(fā)現(xiàn)降階模型中人類智力的局限性，作者建議用人工智能來(lái)補(bǔ)充人類思維。
作者的三管齊下的策略包括學(xué)習(xí)（i）以分析形式表示的模型，（ii）經(jīng)過(guò)后驗(yàn)評(píng)估，以及iii）使用參考解決方案中的全部積分作為先驗(yàn)知識(shí)。在第（i）點(diǎn)中，我們追求用符號(hào)表示的可解釋模型，而不是黑盒神經(jīng)網(wǎng)絡(luò)，后者僅在學(xué)習(xí)期間用于有效地對(duì)可能的模型的大型搜索空間進(jìn)行參數(shù)化。在點(diǎn)（ii）中，學(xué)習(xí)的模型將在計(jì)算求解器中動(dòng)態(tài)評(píng)估后驗(yàn)，而不是基于來(lái)自預(yù)處理的高保真數(shù)據(jù)的先驗(yàn)信息，從而考慮了求解器的特殊性，例如其數(shù)值。最后，在（iii）點(diǎn)中，新模型的探索僅由預(yù)定義的積分量（例如雷諾平均或大渦流模擬（LES）中工程興趣的平均數(shù)量）指導(dǎo)。我們使用耦合的深度強(qiáng)化學(xué)習(xí)框架和計(jì)算求解器來(lái)同時(shí)實(shí)現(xiàn)這些目標(biāo)。強(qiáng)化學(xué)習(xí)與目標(biāo)（i），（ii）和（iii）的結(jié)合將作者的工作與之前基于機(jī)器學(xué)習(xí)的建模嘗試區(qū)分開(kāi)來(lái)。
在此報(bào)告中，作者通過(guò)增強(qiáng)學(xué)習(xí)對(duì)模型發(fā)現(xiàn)框架進(jìn)行了高級(jí)描述。該方法針對(duì)在微分方程中發(fā)現(xiàn)缺失項(xiàng)的應(yīng)用進(jìn)行了詳細(xì)介紹。描述了該方法的基本實(shí)例化，該方法發(fā)現(xiàn)了Burgers方程中的缺失項(xiàng)。
論文名稱：Quantum Adversarial Machine Learning
作者：Lu Sirui /Duan Lu-Ming /Deng Dong-Ling
發(fā)表時(shí)間：2019/12/31
論文鏈接：https://paper.yanxishe.com/review/8166?from=leiphonecolumn_paperreview0106
推薦理由：對(duì)抗性機(jī)器學(xué)習(xí)是一個(gè)新興領(lǐng)域，致力于研究對(duì)抗性環(huán)境中機(jī)器學(xué)習(xí)方法的脆弱性，并相應(yīng)地開(kāi)發(fā)技術(shù)以使學(xué)習(xí)對(duì)對(duì)抗性操縱具有魯棒性。它在各種機(jī)器學(xué)習(xí)應(yīng)用程序中起著至關(guān)重要的作用，并且最近在不同社區(qū)中引起了極大的關(guān)注。
在本文中，作者在量子機(jī)器學(xué)習(xí)的背景下探索了不同的對(duì)抗場(chǎng)景。作者發(fā)現(xiàn)，類似于基于經(jīng)典神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)分類器，量子學(xué)習(xí)系統(tǒng)同樣容易受到精心制作的對(duì)抗性示例的影響，而與輸入數(shù)據(jù)是經(jīng)典數(shù)據(jù)還是量子數(shù)據(jù)無(wú)關(guān)。特別是可以通過(guò)對(duì)原始合法樣本添加無(wú)法察覺(jué)的擾動(dòng)而獲得的對(duì)抗性示例來(lái)最終欺騙幾乎達(dá)到最新精度的量子分類器。量子對(duì)抗性學(xué)習(xí)在不同場(chǎng)景中得到了明確證明，包括對(duì)現(xiàn)實(shí)生活中的圖像進(jìn)行分類（例如，MNIST數(shù)據(jù)集中的手寫(xiě)數(shù)字圖像），物質(zhì)的學(xué)習(xí)階段（例如鐵磁/順磁階和對(duì)稱性受保護(hù)的拓?fù)潆A段），以及對(duì)量子數(shù)據(jù)進(jìn)行分類。
此外，作者表明，基于手頭對(duì)抗示例的信息，可以設(shè)計(jì)實(shí)用的防御策略來(lái)對(duì)抗多種不同的攻擊。作者的研究結(jié)果揭示了量子機(jī)器學(xué)習(xí)系統(tǒng)在對(duì)抗性擾動(dòng)方面的顯著脆弱性，這不僅揭示了將機(jī)器學(xué)習(xí)與量子物理學(xué)聯(lián)系起來(lái)的新穎觀點(diǎn)，而且為基于近期和未來(lái)的量子分類器的實(shí)際應(yīng)用提供了有價(jià)值的指導(dǎo)量子技術(shù)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)文章：
今日 Paper | 虛假新聞檢測(cè)；馬爾可夫決策過(guò)程；場(chǎng)景文本識(shí)別；博弈論框架等
今日 Paper | 問(wèn)答系統(tǒng)；3D人體形狀和姿勢(shì)；面部偽造檢測(cè)；AdderNet等
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
