0
| 本文作者： AI研習(xí)社-譯站 | 2020-11-16 16:53 |
譯者：AI研習(xí)社（Icarus、、Maker、這么辣雞嗎、Clara）
雙語(yǔ)原文鏈接：13 ‘Must-Read’ Papers from AI Experts
以下所有的論文都是免費(fèi)的，涵蓋了從超梯度到CNN的產(chǎn)量響應(yīng)建模等一系列主題。每位專家還附上了論文被選中的原因以及簡(jiǎn)短的個(gè)人簡(jiǎn)歷。
我們?cè)谝辉路莸臅r(shí)候就和Jeff談過(guò)，當(dāng)時(shí)他不能只選一篇論文作為必讀，所以我們讓他選了兩篇。下面列出這兩篇論文。
Learning to Reinforcement Learn（2016）--Jane X Wang et al.
本文解讀了兩個(gè)關(guān)鍵的討論點(diǎn)，即稀疏訓(xùn)練數(shù)據(jù)的局限性，以及循環(huán)網(wǎng)絡(luò)是否能在完全監(jiān)督的情況下支持元學(xué)習(xí)。這些要點(diǎn)在七個(gè)概念驗(yàn)證實(shí)驗(yàn)中得到了解決，每個(gè)實(shí)驗(yàn)都研究了深度元RL的一個(gè)關(guān)鍵方面。我們考慮了擴(kuò)展和擴(kuò)大該方法的前景，同時(shí)也指出了一些對(duì)神經(jīng)科學(xué)的潛在重要影響。點(diǎn)擊這里閱讀更多內(nèi)容。
Gradient-based Hyperparameter Optimization through Reversible Learning (2015) - Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.
Jeff推薦的第二篇論文通過(guò)在整個(gè)訓(xùn)練過(guò)程中倒鏈導(dǎo)數(shù)，計(jì)算出所有超參數(shù)的交叉驗(yàn)證性能的精確梯度。這些梯度允許對(duì)數(shù)千個(gè)超參數(shù)進(jìn)行優(yōu)化，包括步長(zhǎng)和動(dòng)量計(jì)劃、權(quán)重初始化分布、豐富的參數(shù)化正則化方案和神經(jīng)網(wǎng)絡(luò)架構(gòu)。你可以在這里閱讀更多關(guān)于這篇論文的內(nèi)容。
Long Short-Term Memory (1997) - Sepp Hochreiter and Jürgen Schmidhuber
這篇1997年的開(kāi)創(chuàng)性論文的思想是超前于那個(gè)時(shí)代的。直到最近（即過(guò)去6年左右），硬件加速器才有能力運(yùn)行LSTM的訓(xùn)練/服務(wù)操作，從而使得LSTM成功用于許多應(yīng)用（如語(yǔ)言建模，手勢(shì)預(yù)測(cè)，用戶建模）。 LSTM基于記憶的序列建模架構(gòu)非常有影響力——它啟發(fā)了許多最新的改進(jìn)方法，例如Transformers。這篇論文對(duì)我的工作影響很大。
Efficient Incremental Learning for Mobile Object Detection (2019) - Dawei Li et al
本文討論了近期流行的對(duì)象檢測(cè)模型RetinaNet的創(chuàng)新變體，并介紹了增量學(xué)習(xí)的范例，該范例的此應(yīng)用和其他對(duì)于多模式學(xué)習(xí)應(yīng)用是很有效的。本文中使用的關(guān)鍵思想和增量學(xué)習(xí)公式對(duì)從事CV工作的任何人都有用，并且可以為對(duì)移動(dòng)設(shè)備有效的高效增量算法鋪平未來(lái)創(chuàng)新的道路。
Emergent Tool Use From Multi-Agent Autocurricula (2019) --Bowen Baker等人。
Ken之所以選擇這篇論文，是因?yàn)樗o出了一個(gè)獨(dú)特的例子，說(shuō)明了新興行為，并暗示了開(kāi)放性的開(kāi)始。論文本身找到了明確的證據(jù)，證明在我們的環(huán)境中，代理策略有六個(gè)涌現(xiàn)階段，每一個(gè)階段都會(huì)給對(duì)方團(tuán)隊(duì)帶來(lái)新的壓力，讓他們?nèi)ミm應(yīng)；例如，代理學(xué)會(huì)了使用可移動(dòng)的盒子來(lái)建造多物體掩體，這又導(dǎo)致代理發(fā)現(xiàn)他們可以使用坡道來(lái)克服障礙。點(diǎn)擊這里閱讀本文的更多內(nèi)容。
Open-endedness: The last grand challenge you’ve never heard of (2017)----Kenneth Stanley等人。
我們?cè)试SKen也加入了他自己和他的同事們的一篇論文，他的建議是 "關(guān)于開(kāi)放式挑戰(zhàn)的非技術(shù)性介紹"。這篇論文在描述中解釋了這個(gè)挑戰(zhàn)到底是什么，如果解決了它的驚人意義，以及如果我們激發(fā)了你的興趣，如何加入這個(gè)探索。在這里閱讀更多關(guān)于這篇論文的內(nèi)容。
Attention Is All You Need (2017)--Ashish Vaswani等人。
Andriy推薦了2017年的這篇論文，因?yàn)橛盟约旱脑捳f(shuō)，"它將NLP與BERT等預(yù)訓(xùn)練的Transformer模型帶到了一個(gè)全新的高度"。論文提出了一種新的簡(jiǎn)單網(wǎng)絡(luò)架構(gòu)--Transformer，完全基于注意力機(jī)制，完全免除了遞歸和卷積。在兩個(gè)機(jī)器翻譯任務(wù)上的實(shí)驗(yàn)表明，這些模型在質(zhì)量上更勝一籌，同時(shí)更可并行化，所需的訓(xùn)練時(shí)間也大大減少。你可以在這里閱讀這篇論文。
當(dāng)我們聯(lián)系A(chǔ)ndrew時(shí)，腦海中并沒(méi)有具體的論文，然而，我們被引導(dǎo)到他最近的一篇帖子，其中突出了他認(rèn)為可能感興趣的兩篇論文。下面引用了這兩篇論文。
Modeling yield response to crop management using convolutional neural networks (2020) 「利用卷積神經(jīng)網(wǎng)絡(luò)建模作物管理的產(chǎn)量響應(yīng)(2020)」-Andre Barbosa等人。
在這項(xiàng)工作中，Andre等人提出了一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)捕捉不同屬性的相關(guān)空間結(jié)構(gòu)，并將它們結(jié)合起來(lái)建模產(chǎn)量對(duì)養(yǎng)分和種子率管理的響應(yīng)。利用九個(gè)農(nóng)場(chǎng)實(shí)驗(yàn)構(gòu)建了一個(gè)合適的數(shù)據(jù)集，對(duì)CNN模型進(jìn)行訓(xùn)練和檢驗(yàn)。評(píng)估了四種組合了網(wǎng)絡(luò)中不同階段的輸入屬性的體系結(jié)構(gòu)，并將其與最常用的預(yù)測(cè)模型進(jìn)行了比較,在這里閱讀更多關(guān)于文章的內(nèi)容。
A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019) 醫(yī)學(xué)影像診斷疾病的深度學(xué)習(xí)績(jī)效與醫(yī)護(hù)人員的比較：系統(tǒng)回顧與meta-analysis(2019)--劉曉軒等.
本文評(píng)估了深度學(xué)習(xí)算法與醫(yī)療保健專業(yè)人員在使用醫(yī)學(xué)成像對(duì)疾病進(jìn)行分類時(shí)的診斷準(zhǔn)確性。進(jìn)行樣本外外部驗(yàn)證的研究包括在meta-analysis中，使用統(tǒng)一的分層模型。點(diǎn)擊這里閱讀更多關(guān)于這篇文章的內(nèi)容。
當(dāng)我們聯(lián)系到Gregory時(shí)，他建議他的論文選擇是基于試圖理解AI和ML的大趨勢(shì)，最近的兩篇論文對(duì)他來(lái)說(shuō)非常突出?！拔易罱x了兩篇重要的論文，下面是Gary & Francois的文章。我還推薦看Yoshua Bengio和Gary Marcus在Montrea進(jìn)行的辯論?！?/p>
The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence (2020) 《人工智能的下一個(gè)十年：邁向穩(wěn)健人工智能的四個(gè)步驟》(2020)--Gary Marcus
本文介紹了人工智能和機(jī)器學(xué)習(xí)的最新研究，這些研究在很大程度上強(qiáng)調(diào)了通用學(xué)習(xí)和越來(lái)越大的訓(xùn)練集和越來(lái)越多的計(jì)算。與此形成對(duì)比的是，加里提出了一種混合的、知識(shí)驅(qū)動(dòng)的、基于推理的方法，以認(rèn)知模型為中心，可以為比目前可能的更豐富、更健壯的人工智能提供基礎(chǔ)。
On the Measure of Intelligence (2019) “論智力的測(cè)量”(2019)-- Fran?ois Chollet
Gregory的第二個(gè)建議是Fran?ois Cholle的“關(guān)于智力的衡量”。本文總結(jié)和批判性地評(píng)價(jià)了智力測(cè)量的定義和評(píng)價(jià)方法，明確了隱含指導(dǎo)它們的兩個(gè)歷史智力概念。然后，弗朗索瓦在算法信息論的基礎(chǔ)上提出了一個(gè)新的智力正式定義，將智力描述為技能獲得效率，并強(qiáng)調(diào)了范圍、推廣難度、先驗(yàn)和經(jīng)驗(yàn)等概念。請(qǐng)?jiān)?a target="_blank" rel=nofollow>這里閱讀這篇文章。
Tackling climate change with Machine Learning (2019)-David Rolnick，Priya L Donti，Yoshua Bengio等
Myriam的建議包括機(jī)器學(xué)習(xí)及其對(duì)環(huán)境的影響。氣候變化是人類面臨的最大挑戰(zhàn)之一，機(jī)器學(xué)習(xí)專家想知道如何提供幫助。在本文中，作者描述了機(jī)器學(xué)習(xí)如何成為減少溫室氣體排放和幫助社會(huì)適應(yīng)氣候變化的有力工具。從智能電網(wǎng)到災(zāi)難管理，他們通過(guò)與其他領(lǐng)域合作來(lái)發(fā)現(xiàn)目前影響較大的問(wèn)題，這些問(wèn)題可以通過(guò)機(jī)器學(xué)習(xí)的方法來(lái)進(jìn)行解決。在此處閱讀本文的更多內(nèi)容。
The Netflix Recommender System: Algorithms, Business Value, and Innovation (2015) -Carlos Gomez-Uribe & Neil Hunt
“這篇論文已有一定年份，且不是技術(shù)性文章，但是它涵蓋了許多你需要思考的基本問(wèn)題，業(yè)務(wù)決策點(diǎn)，算法特征，度量和數(shù)據(jù)特征，測(cè)試和驗(yàn)證在操作環(huán)境中部署AI算法。我之所以喜歡這篇文章，也是因?yàn)橥扑]引擎很受歡迎且在不同的行業(yè)中使用，得到了所有人（甚至是非專家）的認(rèn)可。因此，本文可以迅速為學(xué)生（包括其他人）獲得對(duì)算法的深入理解和樂(lè)趣。請(qǐng)?jiān)诖颂庨喿x本文。
AI研習(xí)社是AI學(xué)術(shù)青年和AI開(kāi)發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過(guò)提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開(kāi)發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國(guó)最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛(ài)分享的AI愛(ài)好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長(zhǎng)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
