譯者：AI研習(xí)社（聽(tīng)風(fēng)1996）

雙語(yǔ)原文鏈接：How to Understand ML Papers Quickly

---

我所指導(dǎo)的ML學(xué)員經(jīng)常會(huì)問(wèn)我一些不同的問(wèn)題："你如何從每天大量充斥在Arxiv網(wǎng)址上的出版資料中選擇閱讀哪些論文？" 

閱讀大多數(shù)ML論文的好處是，你只需提出五個(gè)簡(jiǎn)單的問(wèn)題就能跨越（忽略）一些專業(yè)術(shù)語(yǔ)。當(dāng)我瀏覽論文時(shí)，我會(huì)盡可能快地回答這些問(wèn)題。

1）函數(shù)近似器的輸入是什么？

如：一張224x224x3的RGB圖像，其中單個(gè)物體大致位于視圖中心。

2）函數(shù)近似器的輸出是什么？

如：一個(gè)對(duì)應(yīng)輸入圖像的類維度為1000的向量。

請(qǐng)借助與具體（論文中的）方法無(wú)關(guān)的方式考慮整個(gè)系統(tǒng)的輸入和輸出，可以讓你從算法術(shù)語(yǔ)本身中脫身，并考慮其他領(lǐng)域是否已經(jīng)開(kāi)發(fā)出使用不同方法（算法）在這里可能會(huì)有效的方法。我發(fā)現(xiàn)這種方法在閱讀Meta-Learning論文時(shí)非常有用。

通過(guò)首先將ML問(wèn)題視為一組輸入和期望的輸出，可以推斷輸入是否足以預(yù)測(cè)輸出。如果沒(méi)有這種推斷練習(xí)，你可能會(huì)意外得到一個(gè)ML問(wèn)題，其中輸出不可能由輸入決定。結(jié)果可能會(huì)是一個(gè)ML系統(tǒng)進(jìn)行預(yù)測(cè)的方式是社會(huì)所認(rèn)為有問(wèn)題的方式（譯者注：這里可能是想表達(dá)不符合人類常識(shí)與邏輯的執(zhí)行方式）。

3）什么樣的損失在監(jiān)督輸出預(yù)測(cè)（譯者注：關(guān)注損失函數(shù)）？這個(gè)目標(biāo)函數(shù)在什么樣的背景假設(shè)下設(shè)立的？

ML模型是通過(guò)組合偏差和數(shù)據(jù)而形成的。有時(shí)偏差很強(qiáng)，有時(shí)偏差很弱。為了使模型具有更好的泛化能力，你需要添加更多的偏差或添加更多的無(wú)偏數(shù)據(jù)。天下沒(méi)有免費(fèi)的午餐。

舉一個(gè)例子：許多最優(yōu)控制算法都會(huì)假設(shè)一個(gè)固定的數(shù)據(jù)偶發(fā)過(guò)程，這個(gè)過(guò)程就是馬爾科夫決策過(guò)程（MDP）。在MDP中，"狀態(tài) "和 "決策"通過(guò)環(huán)境的動(dòng)態(tài)轉(zhuǎn)換來(lái)確定映射到 "下一個(gè)狀態(tài)、獎(jiǎng)勵(lì)以及事件是否結(jié)束"。這種結(jié)構(gòu)雖然很籠統(tǒng)，但也是可以用來(lái)構(gòu)造一個(gè)損失，讓學(xué)習(xí)Q值遵循Bellman方程。

4）一旦模型被訓(xùn)練后，對(duì)于以前沒(méi)見(jiàn)過(guò)的輸入/輸出對(duì)，模型能夠泛化到什么程度？

歸功于所捕獲的數(shù)據(jù)信息或模型架構(gòu)，ML系統(tǒng)可能會(huì)相當(dāng)好地泛化到它以前從未見(jiàn)過(guò)的輸入。近年來(lái)，我們看到越來(lái)越多和更高等次的泛化能力，所以在閱讀論文時(shí)，我注意觀察那些在論文中驚人的泛化能力以及它的泛化能力來(lái)自哪里（數(shù)據(jù)、偏差或兩者都有）。

對(duì)于這個(gè)領(lǐng)域來(lái)說(shuō)，更好的歸納偏差意味著存在更多的噪音，例如因果推理或符號(hào)方法或以對(duì)象為中心的表示。這些是構(gòu)建穩(wěn)健可靠的ML系統(tǒng)的重要工具，我發(fā)現(xiàn)將結(jié)構(gòu)化數(shù)據(jù)與模型偏差分開(kāi)的界限可能是模糊的。話雖如此，但讓我感到困惑的是，有許多的研究人員認(rèn)為推動(dòng)ML前進(jìn)的方式是減少學(xué)習(xí)量（譯者注：訓(xùn)練輪次）并增加編寫(xiě)硬編碼的量。   

我們之所以進(jìn)行ML研究，恰恰是因?yàn)橛行〇|西我們不知道如何編寫(xiě)硬編碼。作為機(jī)器學(xué)習(xí)的研究者，我們應(yīng)該把工作重點(diǎn)放在改進(jìn)學(xué)習(xí)方法上，把編寫(xiě)硬編碼和符號(hào)方法留給那些研究編寫(xiě)硬編碼的研究者。

5）論文中的說(shuō)法是否可以證偽？

那些聲稱不能證偽的論文是不屬于科學(xué)范疇的。

---

AI研習(xí)社是AI學(xué)術(shù)青年和AI開(kāi)發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過(guò)提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開(kāi)發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國(guó)最大的科技創(chuàng)新人才聚集地。

如果，你也是位熱愛(ài)分享的AI愛(ài)好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長(zhǎng)。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。