第五屆 ICLR 會議于當(dāng)?shù)貢r間 2017 年 4 月 24-26 日在法國土倫舉行，到目前會議已結(jié)束一天，研究者 Carlos E. Perez 在自己的博客上發(fā)布了一篇文章，細(xì)數(shù)了他認(rèn)為不應(yīng)該被拒的十篇好論文。雷鋒網(wǎng)對本文做了不改動原意的編譯，未經(jīng)許可不得轉(zhuǎn)載。

第一篇：聯(lián)合多任務(wù)模型：為多個自然語言處理任務(wù)增加一個神經(jīng)網(wǎng)絡(luò)（A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks）

作者：Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher

論文鏈接：https://openreview.net/forum?id=SJZAb5cel

原因：這篇是其中最新穎的論文之一，展示了如何逐步增長神經(jīng)網(wǎng)絡(luò)。這篇論文之所以重要的原因是它展示了一個網(wǎng)絡(luò)是如何通過使用轉(zhuǎn)移學(xué)習(xí)和域名適應(yīng)來成長的。目前還沒有很多論文探討這方面。

第二篇：分層存儲網(wǎng)絡(luò)（Hierartical Memory Networks）

作者：Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJ0Ee8cxx

原因：這是另一篇關(guān)于自然語言處理的論文，令人驚訝的是被拒原因是因?yàn)樽髡叨际敲餍茄芯空?。這是大會上的第一篇探討了內(nèi)存層次結(jié)構(gòu)的概念的論文，而目前大多數(shù)內(nèi)存增強(qiáng)網(wǎng)絡(luò)趨向于沒有層次的內(nèi)存結(jié)構(gòu)。我認(rèn)為，這篇論文不應(yīng)該被這樣輕易地錯失掉。

第三篇：增強(qiáng)學(xué)習(xí)：通過慢速增強(qiáng)學(xué)習(xí)的快速增強(qiáng)學(xué)習(xí)（RL：Fast Reinforcement Learning via Slow Reinforcement Learning）

作者：Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel.

論文鏈接：https://openreview.net/forum?id=HkLXCE9lx

原因：這是一篇突破性研究論文，而評論者卻不確信這是一個突破性研究。我想沒有給評論者留下深刻印象估計和RL命名習(xí)慣有關(guān)。關(guān)于元學(xué)習(xí)的任何東西都應(yīng)該賣的很火。但這篇論文，盡管有優(yōu)秀的作者，卻還是被猛烈抨擊，真是想不到。

第四篇：解密殘差網(wǎng)絡(luò)結(jié)構(gòu)（Demystifying ResNet）

作者：Sihan Li, Jiantao Jiao, Yanjun Han, Tsachy Weissman

論文鏈接：https://openreview.net/forum?id=SJAr0QFxe

原因：我喜歡這篇論文是因?yàn)樗陉P(guān)于如何利用殘差或跳過（skip）鏈接給了一些深刻見解的經(jīng)驗(yàn)法則。是2016年度最火的創(chuàng)新，并且一些人在解構(gòu)技術(shù)上做了一些嘗試。其中一個控訴說在文中使用了簡化模型。這個控訴當(dāng)然是荒謬的。你難道不想用一個簡化模型去描述另一個復(fù)雜系統(tǒng)嗎？

第五篇：神經(jīng)語言知識模型（A Neural Knowledge language Model）

作者：Sungjin Ahn, Heeyoul Choi, Tanel Parnamaa, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJwFrvOeg

原因：這是另一篇被拒的關(guān)于自然語言處理的論文。融合了知識庫和深度學(xué)習(xí)應(yīng)該算是一個非常大的創(chuàng)新。但這篇論文被駁回卻是因?yàn)槿狈π路f性。最主要的不滿竟然是寫作風(fēng)格。真是太不幸了！

第六篇：知識適應(yīng)：教會適應(yīng)（Knowledge Adaptation: Teaching to Adapt）

作者：Sebastian Ruder, Parsa Ghaffari, John G. Breslin

論文鏈接：https://openreview.net/forum?id=rJRhzzKxl

原因：我是第二遍看被拒論文名單才注意到這篇論文。我在這方面有點(diǎn)偏執(zhí)，總是尋找領(lǐng)域適應(yīng)和轉(zhuǎn)移學(xué)習(xí)這方面的研究。這篇論文有非常好的想法，但還是被拒。

第七篇：張量混合模型（Tensorial Mixrure Models）

作者：Or Sharir, Ronen Tamari, Nadav Cohen, Amnon Shashua

論文鏈接：https://openreview.net/forum?id=BJluGHcee

原因：我是這篇論文的忠誠粉絲，看到了全息模型，不幸的是，評論家們對此持高懷疑態(tài)度，最終沒能通過。

第八篇：深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)力研究。（On the Expressive Power of Deep Nural Networks）

作者：Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

論文鏈接：https://openreview.net/forum?id=B1TTpYKgx

原因：基礎(chǔ)理論研究和實(shí)驗(yàn)性論文是有利于深度學(xué)習(xí)研究的點(diǎn)金術(shù)。如果它們被扔到一邊，恐怕研究就要搞砸了。

第九篇：深度學(xué)習(xí)的 Hessian 特征值：奇點(diǎn)與超越（Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond）

作者：Levent Sagun, Leon Bottou, Yann LeCun

論文鏈接：https://openreview.net/forum?id=B186cP9gx

原因：這是故意向這些有名的作者臉上扔雞蛋嗎？我猜是基本實(shí)驗(yàn)數(shù)據(jù)不夠吸引人才導(dǎo)致不通過。評語寫的是：很有趣的實(shí)驗(yàn)數(shù)據(jù)，但是沒有理論基礎(chǔ)。說它完全是不切實(shí)際的期望。

第十篇：一個深度網(wǎng)絡(luò)損失表面的實(shí)證分析（An Empirical Analysis of Deep Network Loss Surfaces）

作者：Daniel Jiwoong Im, Michael Tao, Kristin Branson

論文鏈接：https://openreview.net/forum?id=rkuDV6iex

原因：在我的另一篇文章中，我談到了關(guān)于隨機(jī)梯度下降作為一種隱式的正則化方法的另一個證據(jù)。遺憾的是我只放了一個本文的超鏈接。但真正令我驚訝的是，這些挖掘出了令人印象非常深刻的數(shù)據(jù)的研究者們卻什么也沒有得到，只有論文被拒的羞辱。

作者在文中最后表達(dá)出了他的看法和擔(dān)心。他認(rèn)為對研究深度學(xué)習(xí)的性質(zhì)的實(shí)驗(yàn)研究實(shí)在是太少了。研究者們通常使用簡化模型來執(zhí)行易處理的分析。不過，如果只期望實(shí)驗(yàn)結(jié)果足夠有價值，能給出一個機(jī)器是如何表現(xiàn)的描述，而不期望獲得一個強(qiáng)大的理論成果，那也不行。在沒有這類研究的情況下，我們大多數(shù)是在黑暗中摸索前進(jìn)。同時擔(dān)心目前的研究環(huán)境對深度學(xué)習(xí)研究者很不利。因?yàn)檫@個領(lǐng)域發(fā)展的太快，而很多評論者的世界觀還沒有和最新研究成果聯(lián)系起來，導(dǎo)致很多具有突破性的研究論文被埋沒。

雷鋒網(wǎng)小結(jié)：不知大家看到這么多優(yōu)秀論文被拒是什么心情，至少雷鋒網(wǎng)編輯覺得是相當(dāng)痛心。不過，身經(jīng)百戰(zhàn)的科研人員在無數(shù)次的拒絕中想必已經(jīng)練就了強(qiáng)大的心理素質(zhì)，再戰(zhàn)下一次會議又有何難？

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。