0
| 本文作者： 楊曉凡 | 2019-12-27 10:07 | 專(zhuān)題：邁向20年代，2019年終大盤(pán)點(diǎn) |
雷鋒網(wǎng) AI 科技評(píng)論按：2019 年馬上就要結(jié)束了，這一年里我們又一同見(jiàn)證了雪片般密集（越來(lái)越密集）的論文，見(jiàn)證了全世界研究人員在各種問(wèn)題上的新探索。
雷鋒網(wǎng) AI 科技評(píng)論參考 TopBots、Heartbeat、New World AI 等機(jī)構(gòu)的 2019 論文榜單，總結(jié)出 2019 年發(fā)表的具有研究風(fēng)向代表性的、有學(xué)術(shù)影響力、內(nèi)容也精彩的 AI 論文。其中一些論文把現(xiàn)有的技術(shù)思路改進(jìn)得更加完善，有一些加深了我們對(duì)機(jī)器學(xué)習(xí)/深度學(xué)習(xí)整件事的理解，也有的嘗試了全新的假說(shuō)、打開(kāi)了新的探索方向。當(dāng)然，這一年有許多論文都具有顯著的學(xué)術(shù)價(jià)值，下面總結(jié)出的只是冰山一角。如果你覺(jué)得還有哪些論文是同樣值得被回顧的，歡迎在評(píng)論區(qū)留言和我們討論。
除此之外，我們還準(zhǔn)備了一篇「2019 年十大新奇論文」，總結(jié)了這一年中尤其新穎有趣、甚至出格招致批評(píng)的論文。
2019 年精彩學(xué)術(shù)論文 Top10（按首字母排序）
一個(gè)基于風(fēng)格的GAN生成器架構(gòu)
作者：NVIDIA 實(shí)驗(yàn)室 Tero Karras, Samuli Laine, Timo Aila
推薦理由：StyleGAN 無(wú)疑是 2019 年最熱門(mén)的 GAN 網(wǎng)絡(luò)模型。在 StyleGAN 之前，GAN 的相關(guān)研究已經(jīng)遇到了條件式生成困難、單純?cè)黾幽Ｐ痛笮〉氖找嬗邢?、無(wú)法生成逼真的高分辨率圖像等等多種困境，StyleGAN 就沖破了這個(gè)瓶頸，在生成控制的可控制性、不同屬性的互相搭配、高分辨率高清晰度（且具備一致性）方面都帶來(lái)了大幅進(jìn)步。為此，StyleGAN 獲得了 CVPR 2019 最佳論文榮譽(yù)提名獎(jiǎng)。
StyleGAN 在網(wǎng)絡(luò)上引發(fā)了大量討論，它驚人的人臉生成效果不僅折服了吃瓜群眾，也吸引了很多人撰寫(xiě)自己的實(shí)現(xiàn)并開(kāi)放 demo 供所有人嘗試，包括生成人臉（thispersondoesnotexist.com）、生成貓（thiscatsondoesnotexist.com）、生成二次元妹子（thiswaifudoesnotexist.net）、生成房間照片（thisairbnbdoesnotexist.com）的模型。
就在近期，包括論文原作者在內(nèi)的 NVIDIA 實(shí)驗(yàn)室研究人員們發(fā)表了 StyleGAN2 論文（Analyzing and Improving the Image Quality of StyleGAN，arxiv.org/abs/1912.04958），針對(duì)性地修正了 StyleGAN 生成的圖像中的缺陷等問(wèn)題、提高了圖像中元素的一致性，從而把圖像生成質(zhì)量帶到了新的高峰。
論文地址：StyleGAN arxiv.org/abs/1812.04948，StyleGAN2 arxiv.org/abs/1912.04958
代碼開(kāi)源：https://github.com/NVlabs/stylegan2
彌補(bǔ)神經(jīng)機(jī)器翻譯模型訓(xùn)練和推理之間的缺口
作者：中科院計(jì)算所智能信息處理重點(diǎn)實(shí)驗(yàn)室，中國(guó)科學(xué)院大學(xué)，微信 AI 模式識(shí)別中心，伍斯特理工學(xué)院，華為諾亞方舟實(shí)驗(yàn)室
推薦理由：神經(jīng)機(jī)器翻譯模型的訓(xùn)練方式是給定上下文，預(yù)測(cè)某一些被掩模的詞，但推理過(guò)程（真正的翻譯過(guò)程）是需要從零生成整個(gè)句子。這種偏差問(wèn)題其實(shí)在序列到序列轉(zhuǎn)換任務(wù)中長(zhǎng)期普遍存在。這篇論文就研究了這種偏差，并探討如何彌補(bǔ)這種偏差。
作者們提出的解決方案是，生成條件在「基于參考文本中的詞」和「解碼器自己的輸出中預(yù)選擇詞」兩種之間切換，論文的實(shí)驗(yàn)做得非常完善，結(jié)果令人信服。根據(jù) ACL 2019 論文獎(jiǎng)評(píng)選委員會(huì)的意見(jiàn)，這種方法適用于當(dāng)前的純學(xué)習(xí)訓(xùn)練范式，也能為規(guī)劃采樣帶來(lái)改進(jìn)；而且，這不僅可能影響本來(lái)針對(duì)的機(jī)器翻譯任務(wù)的未來(lái)研究和應(yīng)用，也能用來(lái)普遍地改進(jìn)其它的序列到序列轉(zhuǎn)換模型。這篇論文也被選為 ACL 2019 最佳論文。
論文地址：https://arxiv.org/abs/1906.02448
通過(guò)多智能體強(qiáng)化學(xué)習(xí)在星際2中達(dá)到「Grandmaster」段位
作者：DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等
推薦理由：2019 年 1 月，DeepMind 開(kāi)發(fā)的星際 2 AI「AlphaStar」首次亮相就擊敗了人類(lèi)職業(yè)選手。雖然當(dāng)時(shí)的比賽規(guī)則明顯對(duì) AI 方有利，但我們已經(jīng)感受到了 AI 并不是靠操作速度、而主要是靠?jī)?yōu)秀的策略取得勝利的。后來(lái)，在公平規(guī)則的、基于星際 2 天梯的大規(guī)模人機(jī) 1v1 比賽中，AlphaStar 繼續(xù)發(fā)揮出了優(yōu)秀的表現(xiàn)，取得了「Grandmaster」段位，大概為所有活躍玩家的前 0.15%。這也成為了 AlphaStar 論文發(fā)表在《Nature》雜志 2019 年 10 月刊所需要的最后一個(gè)實(shí)驗(yàn)。
AI 在游戲中勝過(guò)人類(lèi)當(dāng)然不是第一次了，不過(guò) DeepMind 開(kāi)發(fā) AlphaStar 并不僅僅（和其它游戲 AI 一樣）使用了大量的計(jì)算能力，他們使用的群體強(qiáng)化學(xué)習(xí)（群體進(jìn)化、保留多種不同策略）等設(shè)計(jì)也改善了通常強(qiáng)化學(xué)習(xí)做法的問(wèn)題，提高了智能體在復(fù)雜環(huán)境中的表現(xiàn)。不完全信息、高維連續(xù)行動(dòng)空間的長(zhǎng)序列建模問(wèn)題的解決方案日趨成熟。
論文地址：https://www.nature.com/articles/s41586-019-1724-z （開(kāi)放閱讀版 https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf）
詳細(xì)介紹：http://m.ozgbdpf.cn/news/201901/aDDh5MOlOsU22WvK.html
通過(guò)觀察靜止的人學(xué)習(xí)預(yù)測(cè)移動(dòng)的人的深度
作者：谷歌 AI 研究院 Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker, Noah Snavely, Ce Liu, William T. Freeman
推薦理由：這篇論文要解決的任務(wù)「從單個(gè)攝像頭估計(jì)運(yùn)動(dòng)物體的深度」乍看上去是無(wú)法完成的。這篇論文用了很巧妙的方法，一方面，作者們把 YouTube 上用戶們自己上傳的「時(shí)間靜止」視頻作為數(shù)據(jù)集，它們提供了海量的、天然的、帶有人物的三維空間回放，經(jīng)過(guò)傳統(tǒng)方法還原之后就可以作為標(biāo)注數(shù)據(jù)，免去了采集之苦。這實(shí)際上提醒我們，除了用傳統(tǒng)眾包方法專(zhuān)門(mén)收集數(shù)據(jù)集之外，網(wǎng)絡(luò)上還有許多公開(kāi)數(shù)據(jù)經(jīng)過(guò)處理以后也可以成為很有價(jià)值的訓(xùn)練數(shù)據(jù)集。
另一方面，在用深度模型學(xué)習(xí)空間常識(shí)、學(xué)習(xí)預(yù)測(cè)深度的同時(shí)，作者們還增加了額外的結(jié)構(gòu)讓網(wǎng)絡(luò)能夠提取臨近的幀之間的變化信息，提高了網(wǎng)絡(luò)處理運(yùn)動(dòng)物體的能力。最終效果是，只需要單個(gè)攝像頭視角的輸入，模型就可以輸出穩(wěn)定、高準(zhǔn)確率的三維深度預(yù)測(cè)，對(duì)于運(yùn)動(dòng)的物體也有很好效果。這篇論文也獲得了 CVPR 2019 最佳論文榮譽(yù)提名獎(jiǎng)。
論文地址：https://arxiv.org/abs/1904.11111
詳細(xì)介紹：http://m.ozgbdpf.cn/news/201905/comu6TnFl5ejaAG1.html
代碼開(kāi)源：https://github.com/google/mannequinchallenge
彩票假說(shuō)：找到稀疏、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)
作者：MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 Jonathan Frankle, Michael Carbin
推薦理由：作為縮小網(wǎng)絡(luò)體積、降低運(yùn)算資源需求的技術(shù)路線，網(wǎng)絡(luò)稀疏化和知識(shí)蒸餾一起得到了越來(lái)越多的關(guān)注。目前最常用的稀疏化方法是先訓(xùn)練一個(gè)大網(wǎng)絡(luò)然后剪枝，稀疏的網(wǎng)絡(luò)也可以得到和稠密網(wǎng)絡(luò)差不多的性能。
既然稀疏的網(wǎng)絡(luò)可以有和稠密網(wǎng)絡(luò)差不多的性能，這篇論文里作者們就提出一個(gè)大膽的假設(shè)，看作是想要的稀疏網(wǎng)絡(luò)本來(lái)就在稠密網(wǎng)絡(luò)里，我們只需要把它找出來(lái)就可以 —— 更具體地，如果從隨機(jī)初始化的網(wǎng)絡(luò)隨機(jī)做 n 次迭代可以得到訓(xùn)練好的稠密網(wǎng)絡(luò)，從隨機(jī)初始化的網(wǎng)絡(luò)里做類(lèi)似數(shù)目的迭代也可以找到表現(xiàn)差不多的稀疏網(wǎng)絡(luò)。只不過(guò)，找到那個(gè)稀疏網(wǎng)絡(luò)非常依賴好的初始值，而想在隨機(jī)出好的初始值簡(jiǎn)直就像抽彩票。這就是論文核心的「彩票假說(shuō)」。
作者們?cè)O(shè)計(jì)了算法確認(rèn)「是否抽到了好的號(hào)碼」，也用一系列實(shí)驗(yàn)驗(yàn)證了假說(shuō)、展示了好的初始值的重要性。甚至，從好的初始值出發(fā)得到的稀疏網(wǎng)絡(luò)可以得到比稠密網(wǎng)絡(luò)更好的表現(xiàn)。這篇論文獲得了 ICLR 2019 的最佳論文獎(jiǎng)。
大膽的「彩票假說(shuō)」立刻引發(fā)了激烈討論。作者們做了后續(xù)研究發(fā)表了 Stabilizing the Lottery Ticket Hypothesis（arxiv.org/abs/1903.01611）；Uber AI 實(shí)驗(yàn)室發(fā)表了一篇論文 Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask（arxiv.org/abs/1905.01067）介紹了他們對(duì)這個(gè)現(xiàn)象的深入探究結(jié)果，揭示了「彩票假說(shuō)」在碰運(yùn)氣之外的合理性；論文 Sparse Networks from Scratch: Faster Training without Losing Performance（arxiv.org/abs/1907.04840）也緊接著提出「彩票假設(shè)」之類(lèi)的稀疏網(wǎng)絡(luò)生成方式計(jì)算代價(jià)太高，他們的新方法可以直接從稀疏的網(wǎng)絡(luò)結(jié)構(gòu)開(kāi)始訓(xùn)練，對(duì)計(jì)算資源需求更少、訓(xùn)練更快，并達(dá)到和稠密網(wǎng)絡(luò)相近的表現(xiàn)；FB 田淵棟組也發(fā)表了 One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers（arxiv.org/abs/1906.02773）并被 NeurIPS 2019 接收。
論文地址：https://arxiv.org/abs/1803.03635
詳細(xì)介紹：http://m.ozgbdpf.cn/news/201905/ZwDWnaSGZHDveLiO.html
代碼開(kāi)源：https://github.com/google-research/lottery-ticket-hypothesis
關(guān)于自適應(yīng)學(xué)習(xí)率的變化以及更多
作者：UIUC Liyuan Liu、韓家煒，微軟研究院 高劍峰 等
推薦理由：這篇來(lái)自韓家煒團(tuán)隊(duì)的論文研究了深度學(xué)習(xí)中的變差管理。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，Adam、RMSProp 等為了提升效果而加入了自適應(yīng)動(dòng)量的優(yōu)化器都需要一個(gè)預(yù)熱階段，不然在訓(xùn)練剛剛啟動(dòng)的時(shí)候就很容易陷入不好的、可能有問(wèn)題的局部最優(yōu)，而這篇論文中提出的 RAdam 能為優(yōu)化器提供好的初始值。借助一個(gè)動(dòng)態(tài)整流器，RAdam 可以根據(jù)變差大小來(lái)調(diào)整 Adam 優(yōu)化器中的自適應(yīng)動(dòng)量，并且可以提供一個(gè)高效的自動(dòng)預(yù)熱過(guò)程；這些都可以針對(duì)當(dāng)前的數(shù)據(jù)集運(yùn)行，從而為深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練提供一個(gè)扎實(shí)的開(kāi)頭。
同一時(shí)期還有另一篇研究改進(jìn)優(yōu)化過(guò)程的論文《LookAhead optimizer: k steps forward, 1 step back》（arxiv.org/abs/1907.08610），它的核心思路是維持兩套權(quán)重，并在兩者之間進(jìn)行內(nèi)插，可以說(shuō)是，它允許更快的那一組權(quán)重「向前看」（也就是探索），同時(shí)更慢的那一組權(quán)重可以留在后面，帶來(lái)更好的長(zhǎng)期穩(wěn)定性。這種做法帶來(lái)的效果就是降低了訓(xùn)練過(guò)程中的變差，就「減少了超參數(shù)調(diào)節(jié)的工作量」，同時(shí)「在許多不同的深度學(xué)習(xí)任務(wù)中都有更快的收斂速度、最小的計(jì)算開(kāi)銷(xiāo)」（根據(jù)論文作者自己的介紹）。
這兩篇論文不僅都對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程提出了有效改進(jìn)，而且兩者還可以共同使用。這些成果都既增進(jìn)了我們對(duì)神經(jīng)網(wǎng)絡(luò)損失空間的理解，還是非常有效的工具。
論文地址：https://arxiv.org/abs/1908.03265
代碼開(kāi)源：https://github.com/LiyuanLucasLiu/RAdam（RAdam），https://github.com/lonePatient/lookahead_pytorch/blob/master/（LookAhead）
詳細(xì)介紹：RAdam 和 LookAhead 可以合二為一 http://m.ozgbdpf.cn/news/201908/SAFF4ESD8CCXaCxM.html
Reasoning-RCNN: 在大規(guī)模目標(biāo)檢測(cè)中應(yīng)用統(tǒng)一的自適應(yīng)全局推理
作者：華為諾亞方舟實(shí)驗(yàn)室，中山大學(xué)
推薦理由：隨著目標(biāo)識(shí)別的規(guī)模越來(lái)越大、粒度越來(lái)越細(xì)，類(lèi)別不平衡、遮擋、分類(lèi)模糊性、物體尺度差異性等等問(wèn)題越來(lái)越明顯。我們很容易想到，人類(lèi)視覺(jué)識(shí)別能力中的一個(gè)重要環(huán)節(jié)是「基于常識(shí)的推理」，比如辨認(rèn)出了 A 物被 B 物遮擋之后，對(duì)這兩個(gè)物體的識(shí)別都能更準(zhǔn)確。這篇論文就把這種思想融入到了 RCNN 模型中，作者們?yōu)槟Ｐ驮O(shè)計(jì)了顯式的常識(shí)知識(shí)，并且用基于類(lèi)別的知識(shí)圖把圖像中物體的語(yǔ)義知識(shí)表示出來(lái)。
一方面，在感知模型中加入常識(shí)、加入基礎(chǔ)的推理能力是構(gòu)建「視覺(jué)智能」的趨勢(shì)；另一方面，其它研究者雖然在更早的研究里就提出過(guò)「從圖像的目標(biāo)識(shí)別生成關(guān)系圖」，但是關(guān)系圖生成了以后有什么作用呢，這篇論文就展示了，可以用圖進(jìn)一步改善目標(biāo)識(shí)別任務(wù)本身的表現(xiàn)。
除此之外，作者們還做了許多改進(jìn)，讓模型更適應(yīng)大規(guī)模物體識(shí)別、增強(qiáng)階段之間的聯(lián)系、優(yōu)化識(shí)別效果。最終，模型的 mAP 在多個(gè)數(shù)據(jù)集上都有大幅提高。作者們的方法比較輕量，可以用在各種目標(biāo)識(shí)別主干網(wǎng)絡(luò)上，也可以集成各種不同的知識(shí)來(lái)源。
代碼開(kāi)源：https://github.com/chanyn/Reasoning-RCNN
在多智能體強(qiáng)化學(xué)習(xí)中把社交影響作為固有動(dòng)機(jī)
作者：MIT，DeepMind，普林斯頓大學(xué)
推薦理由：隨著多智能體強(qiáng)化學(xué)習(xí)研究越來(lái)越多，為智能體設(shè)計(jì)/讓智能體學(xué)會(huì)行動(dòng)協(xié)調(diào)和信息交換成了一個(gè)重要課題。這篇論文中作者們的著力點(diǎn)就是在多智能體環(huán)境下，讓智能體從其他智能體身上學(xué)會(huì)固有的社交動(dòng)機(jī)。他們的方法是，如果一個(gè)智能體能影響其他智能體、讓它們?cè)趨f(xié)同和溝通方面都有更好的表現(xiàn)，那就獎(jiǎng)勵(lì)它。更具體地，作者們?cè)谡撐闹姓故玖耍绻粋€(gè)智能體讓其他智能體的行為發(fā)生了較大的改變，那獎(jiǎng)勵(lì)它就更有可能鼓勵(lì)不同的智能體之間有更多的共同信息交換。這樣的機(jī)制會(huì)讓智能體形成歸納偏倚，更有意愿學(xué)會(huì)協(xié)同運(yùn)動(dòng)，即便這些智能體都是各自獨(dú)立地訓(xùn)練的。并且影響力的獎(jiǎng)勵(lì)是使用一種分布式的方式來(lái)計(jì)算的，能夠有效解決突發(fā)通信的問(wèn)題。這篇論文獲得了 ICML 2019 最佳論文榮譽(yù)提名。
同期還有另一篇來(lái)自 Facebook AI 研究院的論文 Learning Existing Social Conventions via Observationally Augmented Self-Play （arxiv.org/abs/1806.10071）從另一個(gè)角度設(shè)計(jì)了協(xié)調(diào)機(jī)制：在加入一個(gè)團(tuán)體之前，新的智能體要通過(guò)觀察和重放機(jī)制學(xué)習(xí)這個(gè)團(tuán)地當(dāng)前的行為模式（人類(lèi)角度的「風(fēng)俗習(xí)慣」），讓自己能夠融入，避免加入團(tuán)體之后它的策略無(wú)法得到獎(jiǎng)勵(lì)（即便在無(wú)合作的競(jìng)爭(zhēng)性環(huán)境下可以得到獎(jiǎng)勵(lì)）。不過(guò)大概還是前一篇學(xué)會(huì)固有社交動(dòng)機(jī)更高明一點(diǎn)？相比之下它可是明明白白地促進(jìn)了智能體都變得更協(xié)調(diào)、更主動(dòng)溝通?。ㄐΓ?。
論文地址：https://arxiv.org/abs/1810.08647
權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)
作者：谷歌 AI Adam Gaier 和 David Ha
推薦理由：現(xiàn)代的神經(jīng)網(wǎng)絡(luò)研究都有一個(gè)固定的模式，固定網(wǎng)絡(luò)架構(gòu)，通過(guò)優(yōu)化尋找好的連接權(quán)重（訓(xùn)練）。這種慣例也引發(fā)了一些討論，「如果我們把網(wǎng)絡(luò)結(jié)構(gòu)看作先驗(yàn)，把連接權(quán)重看作學(xué)到的知識(shí)」，那么我們能在多大程度上把知識(shí)以結(jié)構(gòu)（先驗(yàn)）的形式集成在模型中呢？以及這樣做是好還是壞呢？
這篇論文就是一次直接的探索，網(wǎng)絡(luò)的訓(xùn)練過(guò)程不是為了尋找權(quán)重，而是在相對(duì)固定且隨機(jī)的權(quán)重下尋找更好的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)于集成了好的先驗(yàn)的網(wǎng)絡(luò)結(jié)構(gòu)，即便網(wǎng)絡(luò)中所有的權(quán)重都統(tǒng)一且隨機(jī)的也能有好的表現(xiàn)；在此基礎(chǔ)上如果能允許分別優(yōu)化不同的權(quán)重，網(wǎng)絡(luò)的表現(xiàn)就可以更上一層樓。這種方式找到的先驗(yàn)知識(shí)也會(huì)以網(wǎng)絡(luò)結(jié)構(gòu)的形式直接體現(xiàn)出來(lái)，有更好的可解釋性。
如果說(shuō)「固定網(wǎng)絡(luò)結(jié)構(gòu)，尋找權(quán)重」和「固定權(quán)重、尋找網(wǎng)絡(luò)結(jié)構(gòu)」分別就像「氣宗」與「劍宗」，那么現(xiàn)在雙方終于都登場(chǎng)了，我們可以期待未來(lái)有更多的好戲上演。
論文地址：https://arxiv.org/abs/1906.04358
詳細(xì)介紹：http://m.ozgbdpf.cn/news/201906/wMjVvtWT2fr8PcxP.html
代碼開(kāi)源：https://weightagnostic.github.io/
XLNet：用于語(yǔ)言理解的通用自回歸預(yù)訓(xùn)練
作者：CMU，谷歌 AI
推薦理由：基于 BERT 的改進(jìn)模型很多，XLNet 是其中非常成功的一個(gè)。XLNet 的改進(jìn)重點(diǎn)在于，1，用基于輸入順序置換的新的掩模方式替代 BERT 的掩模+雙向預(yù)測(cè)（這種機(jī)制設(shè)計(jì)使得 BERT 更像是文本降噪模型，而在生成任務(wù)中表現(xiàn)不佳），2，使用了 token 內(nèi)容和 token 位置分離的雙流自注意力機(jī)制，3，采用了和改進(jìn) 2 匹配的新的掩模方式。這些設(shè)計(jì)讓 XLNet 兼具了序列生成能力（類(lèi)似傳統(tǒng)語(yǔ)言模型）和上下文信息參考能力。
再加上選用更大的訓(xùn)練數(shù)據(jù)集、用更適應(yīng)長(zhǎng)序列的 Transformer-XL 作為主干網(wǎng)絡(luò)、訓(xùn)練方式對(duì)掩模的利用率更高、允許部分預(yù)測(cè)訓(xùn)練等改進(jìn)，可以說(shuō) XLNet 相對(duì)于 BERT 的技術(shù)改進(jìn)是從頭到尾的，在作者們測(cè)試的所有任務(wù)中都取得了比 BERT 更好的表現(xiàn)也是情理之中（雖然有一些任務(wù)中提升并不大）。
XLNet 這樣的模型出現(xiàn)代表著 NLP 預(yù)訓(xùn)練模型越發(fā)成熟，適應(yīng)的下游任務(wù)越來(lái)越多、表現(xiàn)越來(lái)越好；也代表著一個(gè)統(tǒng)一的模型架構(gòu)就有可能解決各種不同的 NLP 任務(wù)。
論文地址：https://arxiv.org/abs/1906.08237
代碼開(kāi)源：https://github.com/zihangdai/xlnet
除此之外，以下這 10 篇論文也曾在我們的候選列表里，它們各突出之處，我們列舉如下：
AI surpasses humans at six-player poker ( Science Magazine)
在 6 人德州撲克游戲中勝過(guò)人類(lèi)的撲克 AI（這也是 Science 雜志總結(jié)的 2019 年 10 大科學(xué)突破第 10 名）
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
簡(jiǎn)化版 BERT，但不是簡(jiǎn)單的縮小了事，他們用更少的參數(shù)獲得了更好的表現(xiàn)
A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction
「非視線內(nèi)的物體形狀重建」，也就是「如何看到墻角后面的東西」是這篇論文的研究課題。雖然這個(gè)任務(wù)略顯冷門(mén)，但這篇論文表明計(jì)算機(jī)視覺(jué)技術(shù)有潛力讓更多看似不可能的事情變得可能。獲得了 CVPR 2019 最佳論文
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems ( ACL 2019 )
面向任務(wù)的多輪對(duì)話系統(tǒng)通常會(huì)為不同的任務(wù)設(shè)計(jì)預(yù)定義的模版，但不同模版之間的數(shù)據(jù)共享、數(shù)據(jù)遷移是一大難點(diǎn)。這篇論文就提出了有效的知識(shí)追蹤、共享、遷移方法
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
基于單視角視頻，根據(jù)運(yùn)動(dòng)物體的移動(dòng)解算三維空間結(jié)構(gòu)的做法在傳統(tǒng)計(jì)算機(jī)視覺(jué)中就有很多研究，這篇論文里把它和深度學(xué)習(xí)結(jié)合以后帶來(lái)了更好的效果，作者們?cè)黾拥脑诰€學(xué)習(xí)能力也讓這個(gè)方法對(duì)不同的數(shù)據(jù)集、不同的場(chǎng)景有更好的適應(yīng)性。
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
研究 CNN 模型的縮放和可拓展性，用更小的模型得到更高的準(zhǔn)確率，而且為不同規(guī)模的計(jì)算資源提供了一系列優(yōu)化過(guò)的模型。ICML 2019 Spotlight 論文
Emergent Tool Use From Multi-Agent Autocurricula
通過(guò)隱式的課程學(xué)習(xí)中，在一個(gè)具備互動(dòng)和競(jìng)爭(zhēng)機(jī)制的環(huán)境中，不同的智能體之間可以持續(xù)地找到新任務(wù)，它們也就可以持續(xù)地學(xué)會(huì)新的策略
RoBERTa: A Robustly Optimized BERT Pretraining Approach
專(zhuān)門(mén)研究 BERT 的預(yù)訓(xùn)練過(guò)程并提出一種新的改進(jìn)思路，用新的預(yù)訓(xùn)練目標(biāo)做更充分的訓(xùn)練。也就是說(shuō)，設(shè)計(jì)一個(gè)大模型容易，但還要想辦法確定是否已經(jīng)訓(xùn)練夠了。
SinGAN: Learning a Generative Model from a Single Natural Image
這篇論文嘗試從單張圖像學(xué)習(xí) GAN，多種不同尺度的 GAN 組成的金字塔結(jié)構(gòu)分別學(xué)習(xí)圖像中不同大小的小塊，整個(gè)模型的學(xué)習(xí)效果得以同時(shí)兼顧圖像中的全局結(jié)構(gòu)和細(xì)節(jié)紋理。ICCV 2019 最佳論文
Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture
清華大學(xué)團(tuán)隊(duì)設(shè)計(jì)的天機(jī)芯片用融合架構(gòu)同時(shí)支持來(lái)自計(jì)算機(jī)科學(xué)的、基于數(shù)值的非線性變換的人工神經(jīng)網(wǎng)絡(luò)，以及來(lái)自神經(jīng)科學(xué)的、基于信號(hào)響應(yīng)的脈沖神經(jīng)網(wǎng)絡(luò)。論文發(fā)表在 Nature 雜志。
以上就是雷鋒網(wǎng) AI 科技評(píng)論總結(jié)的十大精彩學(xué)術(shù)論文（以及同樣值得看看的另外十篇備選）。如果你有什么不同的見(jiàn)解，歡迎留言和我們討論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專(zhuān)題
