0
| 本文作者： skura | 2019-08-15 18:56 |
本文作者 David Mack，為了從事機(jī)器學(xué)習(xí)相關(guān)的研究，他辭去了工作，在沒有固定收入的情況下進(jìn)行了一年了探索。本文是他對(duì)過去一年經(jīng)驗(yàn)和體會(huì)的總結(jié)。
梯度下降引導(dǎo)的旅程
最近，我發(fā)現(xiàn)我的生活需要一個(gè)新的挑戰(zhàn)。我厭倦了我的日常工作，堅(jiān)持想自己去從事機(jī)器學(xué)習(xí)研究。
這一年充滿了挑戰(zhàn)，且收獲頗豐。我經(jīng)歷了許多失敗和一系列意想不到的成功，走上了一條完全不同于之前設(shè)想的道路。
在這里，我將告訴你我的經(jīng)歷：我做了什么，哪些成功了，哪些失敗了，我學(xué)到了什么，我會(huì)做什么不一樣的事情。如果你渴望進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域，或者想知道成為一名研究員需要什么，希望我的文章能夠幫到你。
我從哪里開始
隨著時(shí)間的推移，我工作中的學(xué)習(xí)和挑戰(zhàn)逐漸減少。以前有很多未知的技能需要學(xué)習(xí)，現(xiàn)在我每天只需要按照一個(gè)規(guī)律的模式執(zhí)行就可以。我對(duì)沒有已知解決方案的開放性問題感到最為興奮。
我越來越多地把空閑時(shí)間花在閱讀學(xué)術(shù)論文和草擬解決開放性問題的方案上。
有一天，我坐在森林里的樹樁上，等著一個(gè)朋友回來，我突然產(chǎn)生了一個(gè)想法，那就是我不得不辭職。這種清醒的時(shí)刻是奇怪和罕見的，你永遠(yuǎn)不知道它會(huì)出現(xiàn)在什么時(shí)候。第二天早上，我告訴我的團(tuán)隊(duì)我要離開。
在大學(xué)里，我攻讀了計(jì)算機(jī)科學(xué)的本科和計(jì)算機(jī)科學(xué)與數(shù)學(xué)的碩士學(xué)位。我一直渴望進(jìn)一步學(xué)習(xí)，但從未找到一個(gè)吸引我的環(huán)境。
在我辭職的時(shí)候，我很幸運(yùn)有了一些存款，所以放棄全職工作就不那么可怕了。我每周工作 2 天并減少開支以使我的財(cái)務(wù)收支平衡。我的搭檔幫助我，我很多周末都在工作。
熱身運(yùn)動(dòng)
在辭掉工作之前，我已經(jīng)開始從事微型研究項(xiàng)目，我會(huì)做一些有趣的東西，在網(wǎng)上寫下來，這個(gè)過程不會(huì)花太多時(shí)間來完成。
這大大增強(qiáng)了我走這條新道路的信心。通過指導(dǎo)和出版它們（這里是其中一個(gè)例子），我向自己展示了我有研究的基本技能。
我鼓勵(lì)任何正在考慮進(jìn)行研究的人找到一些小項(xiàng)目，并把它們做完。它很有趣，并且能讓你體驗(yàn)整個(gè)過程。
開始
在進(jìn)入全職研究之后，我做的第一件事就是建立 Octavian.ai，這是一個(gè)我可以在網(wǎng)上寫作的地方。我將一個(gè)網(wǎng)絡(luò)流量網(wǎng)站，一個(gè)媒體出版物，facebook 和 twitter 整合在一起。雖然我在美術(shù)上花了很多時(shí)間（我也喜歡平面設(shè)計(jì)），但在過去的一年里，這個(gè)網(wǎng)站一直是我用得最多的地方。當(dāng)人們對(duì)我的工作感興趣時(shí)，我經(jīng)常讓他們?nèi)タ纯催@個(gè)網(wǎng)站。
我還發(fā)現(xiàn)，有一個(gè)品牌可以將我們所有的工作和各種演講活動(dòng)聯(lián)系在一起。我相信這個(gè)品牌幫助我們發(fā)展了我們的社區(qū)，因?yàn)樗鼛椭M織看起來更加連貫和專業(yè)。
我沒有為這件事情籌集任何資金。這只是一種個(gè)人探索的工具，不適合提升。
科研并不是魔法
我需要克服的最早的障礙之一是改變進(jìn)行研究是一種只有精英才能完成的神秘活動(dòng)的想法。
我現(xiàn)在已經(jīng)從一些學(xué)生、研究人員和工程師那里聽到了同樣的感受。即使是出版過相關(guān)著作的研究人員也偶爾在 Twitter 上承認(rèn)感覺自己像冒名頂替者，而不是「真正的研究人員」。
雖然我還只是研究領(lǐng)域的一個(gè)剛?cè)腴T的學(xué)生，但我聽說很多人對(duì)此感到消極，所以我想發(fā)表一個(gè)聲明：研究不是魔法。這只是一個(gè)處理問題、定義問題、列出解決方案、嘗試解決方案、了解什么方法有效以及記錄這些問題的過程。任何聰明、勤奮的人都可以走這條路。
此外，你很容易因?yàn)楹ε伦约耗芰Σ粔蚧蛘哌@件事情不值得去做而放棄。相反，開始研究吧，給它時(shí)間去自由發(fā)展。
進(jìn)行研究需要很長(zhǎng)時(shí)間
我今年最大的收獲之一就是投入了很多時(shí)間、精力和資源來進(jìn)行研究。具體來說，我的意思是產(chǎn)生成功的結(jié)果：一種比其他人表現(xiàn)更好的方法，或者發(fā)現(xiàn)一個(gè)能幫助其他人的問題。
在我的職業(yè)生涯中，我很清楚計(jì)劃的謬誤：
「預(yù)測(cè)完成未來任務(wù)所需時(shí)間經(jīng)常會(huì)表現(xiàn)出樂觀主義傾向，我們會(huì)低估所需的時(shí)間。」
然而，我花了很多時(shí)間在研究項(xiàng)目上，才真正做到這一點(diǎn)。我發(fā)現(xiàn)每個(gè)項(xiàng)目都會(huì)經(jīng)歷一個(gè)周期：
蜜月期：對(duì)問題和潛在解決方案的強(qiáng)烈興奮、好奇和樂觀
開始工作：打開代碼編輯器，整理數(shù)據(jù)集，勾畫出實(shí)驗(yàn)架構(gòu)，滿足線性進(jìn)展
第一個(gè)障礙：解決這個(gè)問題比最初設(shè)想的要困難。數(shù)據(jù)處理需要更多的工作。最初的想法是錯(cuò)的。
悲傷、漫長(zhǎng)的驅(qū)動(dòng)/低谷：堅(jiān)持成為支撐的動(dòng)力，需要修復(fù)更多的錯(cuò)誤，需要編寫更多的測(cè)試用例，更多的變化需要嘗試。未來可能會(huì)成功，也可能不會(huì)。
最后終于成功：完成這個(gè)項(xiàng)目過程中的一個(gè)快樂時(shí)刻。你可能永遠(yuǎn)不會(huì)到達(dá)這里，或者你可能會(huì)徹底證明你的方法永遠(yuǎn)不會(huì)奏效。如果是，返回到第一步。
把它拿出來：寫作，然后點(diǎn)擊發(fā)布。至此，你唯一的動(dòng)機(jī)就是不再參與這個(gè)項(xiàng)目。你點(diǎn)擊發(fā)布并離開辦公室。
在我的心理評(píng)估中，我通常只記得步驟 1 到 3。我的記憶抹去了悲傷的事情，這也許是為了保護(hù)我的熱情。
我現(xiàn)在對(duì)我承擔(dān)的項(xiàng)目范圍更加謹(jǐn)慎了。我有一個(gè)評(píng)分系統(tǒng)：
新數(shù)據(jù)集？+2 分
數(shù)據(jù)集太大，無法放在一臺(tái)機(jī)器的內(nèi)存中？+1 分
從一篇沒有代碼的論文中實(shí)現(xiàn)？+1 分
不適合庫的結(jié)構(gòu)：+1 分
用多個(gè) GPU 訓(xùn)練？+1 分
集群訓(xùn)練？+3 分
我花了很多時(shí)間構(gòu)建數(shù)據(jù)和訓(xùn)練基礎(chǔ)設(shè)施。例如，一個(gè)項(xiàng)目的大部分是將一個(gè)模型轉(zhuǎn)換為在一個(gè) TPU 集群上運(yùn)行（這是我當(dāng)時(shí)唯一擁有的云資源），這樣我就可以測(cè)試出注意力函數(shù)的變化。經(jīng)過大量的努力，我得到了一個(gè)消極的結(jié)果。
我選擇放棄學(xué)術(shù)論文，轉(zhuǎn)而在媒體上寫博客。這是一把雙刃劍：它犧牲嚴(yán)謹(jǐn)性，讓我有時(shí)間折騰更多的項(xiàng)目。有人和我的朋友們這件事的討論利弊，他說：「如果你寫一篇論文，大多數(shù)人無論如何都讀不到這篇博客文章了」，這就解決了問題。
考慮到自己的個(gè)人時(shí)間之外，我現(xiàn)在非常感謝研究機(jī)構(gòu)的資源。即使是寫一篇論文，理想情況下你也需要一個(gè)團(tuán)隊(duì)的合作者，幾個(gè)月，大量的 GPU 時(shí)間，然后幾個(gè)人來幫忙寫。
與初創(chuàng)企業(yè)和圖書行業(yè)一樣，深度學(xué)習(xí)研究也是一個(gè)基于點(diǎn)擊率的模型——一小部分的論文將獲得最大的關(guān)注。研究就像抽獎(jiǎng)：有些票會(huì)有獎(jiǎng)品，但你不知道是哪一張。最好的辦法是買很多票。作為一名獨(dú)立研究者，我必須仔細(xì)挑選幾張票。
無錢訓(xùn)練
機(jī)器學(xué)習(xí)研究中花費(fèi)在增加
人工智能的冬天由于 GPU 的發(fā)展而部分解凍了，其中很多地方都解凍了。
這張來自 OpenAI 的圖表顯示了訓(xùn)練資源呈指數(shù)級(jí)增長(zhǎng)的明顯趨勢(shì)，即產(chǎn)生最新成果的成本越來越高：
計(jì)算規(guī)模（歸功于 OpenAI）
在今年年初，我收集了我能得到的資源：一堆谷歌云信用卡。我把自己的一些錢投入了托管。與任何研究實(shí)驗(yàn)室都能接觸到的資源相比，這一點(diǎn)都顯得蒼白無力。由于以下幾個(gè)原因，資源不再是瓶頸：
建造一個(gè)能夠證明大量資源是合理的東西需要花費(fèi)大量的工程時(shí)間。我一直很小心地只在資源發(fā)揮作用的時(shí)候使用它們。
我選擇了一些數(shù)學(xué)/理論性更強(qiáng)的問題（而不是在擬合問題下「將模型放大」）。
在某些情況下，你可以使用較小版本的模型進(jìn)行試驗(yàn)，然后在充分調(diào)試后再花掉訓(xùn)練預(yù)算。
隨著時(shí)間的發(fā)展，一些善良的人和組織捐贈(zèng)了資源：
FloydHub：使用 GPU 在云計(jì)算機(jī)上運(yùn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)的一種非常簡(jiǎn)單的方法。
Google TPU 研究云：TPU 現(xiàn)在是我最喜歡的大規(guī)模訓(xùn)練方式。編程模型將你的訓(xùn)練分為多個(gè) batch，因此要使用更多的機(jī)器，需要增加 batch 大小。
我真的很感謝上面兩個(gè)資源的支持，它使很多工作成為可能。
無錢招聘
我真的很喜歡創(chuàng)造有自己生命的東西。小時(shí)候，我寫過多人游戲引擎，程序世界和 BEAM 機(jī)器人。作為一個(gè)成年人，我開始嘗試創(chuàng)建公司。每天 SketchDeck 都會(huì)聚集許多偉大的人，他們會(huì)制作精美的作品，這給我?guī)砹撕芏鄻啡ぁ?br/>
作為 Octavian.ai 項(xiàng)目的一部分，我想創(chuàng)建一個(gè)合作者社區(qū)。事實(shí)證明（毫不奇怪）很難說服人們?cè)跊]有錢的情況下與你共事。他們有賬單要付。
然而，一些人確實(shí)站起來并做出了貢獻(xiàn)：
Andrew Jefferson，一位我終生的朋友，在從事日常工作的同時(shí)，他編寫、評(píng)審、演講、發(fā)表文章和幻燈片。
今年夏天加入的 Ashwath Kumar Salimath 幫助撰寫了一系列文章，并發(fā)表了自己的文章。
謝謝你們倆！
此外，隨著這一年的發(fā)展，許多人加入了我們的聊天室。一個(gè)對(duì)圖形機(jī)器學(xué)習(xí)感興趣的群體慢慢出現(xiàn)了。我們進(jìn)行了很多有趣的討論，我真的很高興對(duì)這個(gè)話題感興趣的人找到了彼此。
無錢營(yíng)銷
隨著深度學(xué)習(xí)從學(xué)術(shù)界一個(gè)不起眼的角落成長(zhǎng)為一個(gè)價(jià)值 10 億美元的行業(yè)，我們看到了學(xué)術(shù)界和全球營(yíng)銷預(yù)算的奇妙交叉。一切看起來都很完美，許多會(huì)議和訓(xùn)練營(yíng)應(yīng)運(yùn)而生。
我在 Octavian.ai 的營(yíng)銷上投入了 0 美元。這一年來，我發(fā)現(xiàn)我們接觸讀者的最佳方式是：
谷歌搜索帶來了我們大部分的博客流量
我們的免費(fèi)機(jī)器圖形學(xué)習(xí)課程通過 HackerNews, Reddit 和 Twitter 進(jìn)行了大量分享。
在會(huì)議和會(huì)議上交談會(huì)帶來流量和有價(jià)值的互動(dòng)
在圖形上進(jìn)行機(jī)器學(xué)習(xí)是非常適合的。我最感興趣的是在這個(gè)世界上找到真正重要的人，而不是試圖擴(kuò)大眼球或收到更多喜歡。
在沒有主管和團(tuán)隊(duì)的情況下生存
今年年初，我真的低估了一件事，那就是與主管和團(tuán)隊(duì)合作。我有時(shí)開玩笑說，我這一年是「攻讀博士學(xué)位的第一年，不同的是，沒有導(dǎo)師，我自己在家里學(xué)習(xí)」。
作為一個(gè)創(chuàng)業(yè)者，我有著強(qiáng)烈的獨(dú)狼心態(tài)。我一般不想等待外部因素，相反，我相信通過堅(jiān)持不懈，我可以到達(dá)任何我想去的地方。
我很幸運(yùn)有幾個(gè)親密的同事，一年來有一個(gè)不斷壯大的社區(qū)來支持我的努力。然而，我的大部分工作是在相對(duì)孤立的環(huán)境中完成的
我現(xiàn)在認(rèn)為我可以和主管一起進(jìn)步得更快。這在一些方面會(huì)有所幫助：
向我提出好問題
指導(dǎo)我找到我不可能想到的好辦法
壓力/靈感，做得更好
作為一個(gè)團(tuán)隊(duì)的一員會(huì)幫助我：
交流和發(fā)展更多的想法
更快地測(cè)試想法
互相學(xué)習(xí)
嘗試更多的事情
編寫更全面的報(bào)告
獨(dú)自工作（大部分）是孤獨(dú)的。你需要在精神上能快速恢復(fù)，并且堅(jiān)定地相信自己能到達(dá)目的地。
最后，從脆弱的角度來說，當(dāng)你工作之外的生活陷入困境時(shí)，做這種工作是非常困難的。生活的曲折消耗了足夠的能量，很難繼續(xù)進(jìn)行單獨(dú)的研究。
發(fā)現(xiàn)好問題
這是我一年來發(fā)展的最大的技能。我現(xiàn)在相信這是研究的第一步，也是許多人成功的秘訣。
選擇要解決的問題是一門藝術(shù)。這一年來，有那么多人來找我，要求我?guī)椭麄兲暨x自己的研究問題，于是我寫了一份建議清單。
在今年年初，挑選一個(gè)問題進(jìn)行研究既令人困惑又令人擔(dān)憂?，F(xiàn)在我有了一個(gè)很長(zhǎng)的列表，列出了我想要探索的領(lǐng)域，以及度量標(biāo)準(zhǔn)和實(shí)驗(yàn)的概念。
我認(rèn)為這項(xiàng)技能需要時(shí)間來提高。這是直覺（根據(jù)過去的經(jīng)驗(yàn)），什么問題適合研究，什么適合你的資源，以及什么解決方案可能會(huì)挖掘出一些成功。
以下是發(fā)展這種技能的一些建議：
在公共數(shù)據(jù)集/已知問題上參與比賽可以讓你保持誠實(shí)——你有模型可以擊敗并能建立成功的標(biāo)準(zhǔn)。
盡管為新類型的問題創(chuàng)建自己的數(shù)據(jù)集也很有價(jià)值，但在這里，你更容易滿足于你的解決方案是否真正新穎，并且很難讓其他人對(duì)你的工作感興趣。
閱讀大量的論文，看看他們遇到了什么問題，他們?nèi)绾卧噲D解決這些問題，以及他們?nèi)绾魏饬砍晒Α?br/>與人交談。
撰寫研究建議并獲得反饋。
尋找在現(xiàn)實(shí)世界有價(jià)值的問題——如果你解決了這些問題，自然會(huì)有更大的成果和更多的關(guān)注。
傾聽你的好奇心：作為一個(gè)研究者，你的動(dòng)機(jī)是一個(gè)有價(jià)值的催化劑。如果你覺得有些東西還沒被充分發(fā)掘，去看看吧。
如果你們是兩個(gè)不同領(lǐng)域的專家，看看這兩個(gè)領(lǐng)域的交叉點(diǎn)。你可以得到一些別人沒有的靈感。
參與整個(gè)研究項(xiàng)目的生命周期將使你獲得其他方法無法獲得的洞察力。將最初的想法與最終的結(jié)果進(jìn)行比較。
寫作是生命之源
你所有未溝通的想法都將被忽略。提高寫作水平的最好方法就是寫作。
在寫作中（無論是想法還是結(jié)果），你不確定的想法都會(huì)暴露在你面前。
我的寫作能力和研究思路在一年中通過寫許多文章而得到了很大的發(fā)展。
技術(shù)題材常青
你不知道什么會(huì)引起讀者的共鳴。
寫作的另一個(gè)好處是它提供了參與度統(tǒng)計(jì)數(shù)據(jù)。查看哪些文章做得好，哪些文章做得不好，我對(duì)此無限著迷。其中有一些我也經(jīng)常感到驚訝。
我早期寫的文章之一「如何選擇學(xué)習(xí)速率」，是目前 Octavian 上閱讀量最高的文章（66K）。在寫作的時(shí)候，我從來沒有料到這一點(diǎn)。
沒有博士學(xué)位
自從本科畢業(yè)以來，我一直在考慮是否要攻讀博士學(xué)位。作為一名本科生，我花了一個(gè)夏天的時(shí)間和團(tuán)隊(duì)一起完成一篇論文，最后一學(xué)期我的碩士論文都是為這門課寫的一篇研究論文。最終，我從未發(fā)現(xiàn)我想要的環(huán)境、團(tuán)隊(duì)和問題的結(jié)合。我在創(chuàng)業(yè)過程中發(fā)現(xiàn)的精力和活力對(duì)我更有吸引力。
我認(rèn)為沒有博士學(xué)位對(duì)我有一些不利之處：
博士學(xué)位讓你有時(shí)間閱讀大量論文和實(shí)踐研究技能。
博士學(xué)位給了你一個(gè)有利于良好研究的導(dǎo)師和環(huán)境。
博士學(xué)位是一系列現(xiàn)在對(duì)我有吸引力的工作的預(yù)期切入點(diǎn)。
我仍然對(duì)攻讀博士學(xué)位持開放態(tài)度。我表妹很了解這個(gè)職業(yè)，并準(zhǔn)備攻讀第二個(gè)博士學(xué)位，所以我很感激有很多途徑可以了解這一點(diǎn)。
我會(huì)怎么做呢？
這一年過去后，我現(xiàn)在可以反思一下我可能可以做得更好的方式。
首先，我不后悔。我能給自己的最大禮物就是時(shí)間。有足夠的時(shí)間和空間去關(guān)注我的好奇心，努力完成對(duì)我來說很重要的項(xiàng)目，這是非常特別的，我真的很幸運(yùn)我能做到。
對(duì)我來說，今年開始是一次真正的冒險(xiǎn)。目的地未知，我將邊走邊摸索未來的道路。
今年我有許多寬松的目標(biāo)，其中一些已經(jīng)實(shí)現(xiàn)：
向我自己證明我有能力進(jìn)行學(xué)術(shù)研究。我想我做到了。這一年我學(xué)到了很多關(guān)于構(gòu)建 ML 系統(tǒng)的技巧和研究的技巧。我對(duì)自己的研究方向也有了更好的了解。我看到自己仍在思考問題，掌握了基本技能。我能夠完成所有的研究步驟，并有信心指導(dǎo)學(xué)生們。
創(chuàng)建一個(gè)機(jī)器學(xué)習(xí)驅(qū)動(dòng)的企業(yè)。我在這個(gè)目標(biāo)上失敗了。我探索了很多想法，和很多人交談，但沒有找到答案。這在一定程度上是因?yàn)檫@個(gè)目標(biāo)并沒有集中在解決一個(gè)真正的問題上；我從來沒有發(fā)現(xiàn)一個(gè)我非常想解決的問題。
提高我搭建機(jī)器學(xué)習(xí)系統(tǒng)的技能。我確實(shí)做到了。在每一篇已發(fā)表的文章（以及一堆未發(fā)表的文章）后面都有大量的代碼、閱讀文章和調(diào)試模型。我花了大量時(shí)間在訓(xùn)練和數(shù)據(jù)基礎(chǔ)設(shè)施上。我的實(shí)現(xiàn)技能大大提高了，我對(duì)系統(tǒng)為什么不能工作以及如何處理它有很強(qiáng)的直覺。
制作一份學(xué)術(shù)級(jí)的研究報(bào)告。我沒有達(dá)到這個(gè)目標(biāo)。到今年年底，我已經(jīng)建立了嘗試這一點(diǎn)的技能和研究問題清單，我的最后一個(gè)大項(xiàng)目沒有產(chǎn)生積極的結(jié)果。我沒時(shí)間嘗試更多的解決方案。不過，它確實(shí)教會(huì)了我很多關(guān)于擴(kuò)大 TPU 訓(xùn)練的知識(shí)。我想花更多的時(shí)間來實(shí)現(xiàn)這個(gè)目標(biāo)。
一位朋友在這一年給我的一條建議是，為了我的興趣，尋找世界上最好的人，并向他們學(xué)習(xí)。我仍然不知道如何在沒有博士學(xué)位的情況下完成這項(xiàng)工作，但這并不意味著這是不可能的。
我時(shí)常反省自己的中心目標(biāo)是什么。一個(gè)持久的答案是「創(chuàng)造我引以為傲的東西」。我堅(jiān)持自己的高標(biāo)準(zhǔn)，隨著我的學(xué)習(xí)水平的提高而提高，因此我傾向于認(rèn)為我所有的工作都不夠好。感謝所有幫助我走上這條道路的人。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
