0
目前精讀文章已在 GitHub 開源，速覽！
GitHub地址：github.com/mli/paper-reading
個人主頁：https://github.com/mli
從本月初做論文推薦和精讀以來，現(xiàn)已上傳5條視頻，已經(jīng)逐段式逐句式精讀了2篇論文。話不多說，趁著還能上車，趕緊追呀?。?！
每次精析近60分鐘，時長感人！從發(fā)布時間來看，老師你為啥總是周四周五上傳視頻？莫非我已經(jīng)掌握了你的輸出節(jié)奏！新一期的視頻預計在3天后，前排蹲起！
從李老師已經(jīng)推薦的論文來看，開頭就是兩篇重頭戲---
深度學習奠基作之一：AlexNet
9年后重讀，原來AlexNet的報告也被大佬們噴過？
AlexNet論文中有多少觀點現(xiàn)在看都不對？
撐起計算機視覺半邊天的：ResNet
為什么網(wǎng)絡(luò)越深，效果越差？
殘差連接在做什么？
從當下最熱火的深度學習問題入手，再重讀經(jīng)典深度學習論文，經(jīng)典還能回應時代之聲嗎？
李老師不僅從專業(yè)角度“亮劍式”解析論文，還光明正大領(lǐng)著大家吃起了瓜！原來大佬的的論文也被噴過！
看李老師做過的視頻講解，真真是讀書“破”萬卷！
怎么老師您的筆法越邪魅狂狷，我心越踏實！這樣的論文結(jié)構(gòu)解析和技術(shù)分析，一眼就能把論文讀“薄”！
在開篇之作如何讀論文中，沐神總結(jié)了讀論文的一種套路：
論文結(jié)構(gòu)通常分為六個部分，要按照“讀三遍”的方法快速掌握論文的精華。
1.title
2.abstract
3.introduction
4.method
5.experiments
6.conclusion
第一遍：標題、摘要、結(jié)論?？梢钥匆豢捶椒ê蛯嶒灢糠种匾膱D和表。花費十幾分鐘時間了解到論文是否適合你的研究方向。
第二遍：確定論文值得讀之后，快速把整篇論文過一遍。不需要知道所有的細節(jié)，但需要了解重要的圖和表，知道每一個部分在干什么，圈出相關(guān)文獻。如果覺得文章太難，可以讀引用的文獻。
第三遍：重點讀論文提出了什么問題，用到了什么解決方法，實驗是怎么做的。
在讀方法的部分中，思考自己如何完成作者所提出的問題，用什么方法實現(xiàn)；
在讀實驗的部分時，思考自己能不能比作者做得更好；能用什么方法優(yōu)化。
在沐神的接下來的論文精讀中，同樣是按照這種方法指導大家拆分論文，懂得如何讀論文是科研入門的第一步。
當然我們從李老師的GitHub 主頁中發(fā)現(xiàn)，他在15個小時之前已經(jīng)悄悄更新了下一期目錄：
Transformer：新的大一統(tǒng)架構(gòu)？
圖神經(jīng)網(wǎng)絡(luò)的可視化介紹。
這樣勤奮的老師誰能不愛！難怪大家對沐神的評價是：不用催更反而督促粉絲跟上節(jié)奏的神奇up主！
李老師官方透露：
錄一篇文章的時間大概是5個小時（拍攝、剪輯、上傳），一般是每天深夜找半個小時或者一個小時做一點。如果沒有其他更緊要的事情的話，10天左右可以出一篇。如果大家熱情的話，可以多趕一趕！
考慮在之后視頻中將要介紹的論文，選取的原則是10年內(nèi)深度學習里有影響力文章（必讀文章），或者近期比較有意思的文章。當然這十年里重要的工作太多了，不可能每篇都過。在選取的時候會偏向一些之前直播課中沒講到過的。歡迎大家在討論區(qū)里提供（點）建議（歌）。
現(xiàn)在的候選論文已經(jīng)列出，將持續(xù)更新（數(shù)字不代表講析順序）。
Adam：深度學習里最常用的優(yōu)化算法之一。
鏈接：https://arxiv.org/abs/1412.6980
EfficientNet：通過架構(gòu)搜索得到的CNN，現(xiàn)在常被使用。
鏈接：https://arxiv.org/abs/1905.11946
BERT：讓深度學習在NLP上熱度超過了CV。
鏈接：https://arxiv.org/abs/1810.04805
GPT3：朝著zero-shot learning邁了一大步，當然也得講一講GPT/GPT-2
鏈接：https://arxiv.org/abs/2005.14165
GAN。生成類模型中的開創(chuàng)性工作。
鏈接：https://arxiv.org/abs/1406.2661
CLIP。圖片分類從此不用標數(shù)據(jù)。
鏈接：https://openai.com/blog/clip/
Non-deep networks：21年10月的新工作，非深度網(wǎng)絡(luò)也能在ImageNet刷到SOTA。
鏈接：https://arxiv.org/pdf/2110.07641.pdf
為什么超大的模型泛化性好
鏈接：https://cacm.acm.org/magazines/2021/3/250713-understanding-deep-learning-still-requires-rethinking-generalization/fulltext
GNN 介紹： Distill上最近一篇寫得很好的介紹性文章。
鏈接：https://distill.pub/2021/gnn-intro/
AlphaGo：讓強化學習出圈的一系列工作。
鏈接：https://deepmind.com/research/case-studies/alphago-the-story-so-far
十篇論文已經(jīng)安排好，意味著至少有兩個半的時間，李老師將和我們一起云學習！
從李老師敲定的論文來看，篇篇都有討論價值。
因此有網(wǎng)友表示：重讀論文很有必要，技術(shù)需要時間驗證。
至于一部經(jīng)典作品是什么作品，哪怕它與時代的旋律格格不入，它也至少成為一種時代的背景噪音。
回顧李老師自己的生命歷程，"大神"，是很多人對李沐的印象。作為一經(jīng)推出便大受追捧的 MXNet 深度學習框架的主要貢獻者之一，李沐功不可沒。
以倒敘時間線來看，李沐目前為止的職業(yè)和學習生涯大致是這樣的：
亞馬遜首席科學家，2017 年 3 月至今
百度首席架構(gòu)師，2014.4-2015.12
CMU 讀博士，2012-2017
Google Research 實習生，2013 年夏
百度高級研究員, 2011.4 - 2012.8
香港科技大學研究助理，2009 - 2010
微軟亞洲研究院實習，2007 年夏
上交 ACM 班
但是再看李沐近來的感悟，他更像是一位用理性審視生命歷程的“有心人”，最近提出用隨機梯度下降來優(yōu)化人生的箴言：多向四處看看，每一步的方向都是你對世界的認識。
隨機梯度下降的第一個詞是隨機，就是你需要四處走走，看過很多地方，做些錯誤的決定，這樣你可以在前期邁過一些不是很好的舒適區(qū)。
重讀論文大抵如此。優(yōu)秀的經(jīng)典論文就是要敢于直面權(quán)威的審視，也要在時間的流動中經(jīng)久不衰。提到這十年以來的論文，李老師也談到文中部分觀點的失效，但能再從中錘煉出什么，從字縫里翻出什么細節(jié)，從段落中抖摟出什么字碴兒，正是重讀經(jīng)典的意義。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
