0
作者 | 李梅
編輯 | 陳彩嫻
機器學習領(lǐng)域的研究進展迅速，研究者既要及時跟進最新研究，也要不時地回顧經(jīng)典。寒假開始，各位機器學習er在度假之余，想必也不會忘了自己卷王的身份。
最近，Github上出現(xiàn)了一個名為“ML Papers Explained”的優(yōu)質(zhì)項目，精選了機器學習領(lǐng)域的一些核心概念，對相關(guān)工作的原始論文做了解讀，實在是廣大MLer的一大福利。
項目地址：https://github.com/dair-ai/ML-Papers-Explained
該項目由三位數(shù)據(jù) Rastogi、Diego Marinho、Elvis Saravia創(chuàng)建，旨在介紹機器學習領(lǐng)域重點技術(shù)的研究論文，既有經(jīng)典重現(xiàn)，也有最新前沿跟進，突出論文的主要創(chuàng)新點，討論它們對研究領(lǐng)域的影響及其應(yīng)用空間。
該項目目前集合了25個機器學習概念，涉及計算機視覺、目標檢測、文檔信息處理、自然語言處理等方向。按類別劃分，包括RCNN系列：
Transformer系列（Layout Transformers、Document Information Processing、Vision Transformers）：
以及Single Stage Object Detectors系列：
點擊這些關(guān)鍵詞，就是一篇論文詳解，這些論文解讀大都不是長篇累牘，而是簡明扼要地介紹論文的核心發(fā)現(xiàn)、實驗結(jié)果，同時有進一步的延伸思考。文章的排版也清晰明了，能夠幫助研究者快速且深入理解一篇論文的精髓。這里選取兩篇解讀來一睹為快。
TinyBERT解讀
在大模型越來越成為AI核心研究方向的當下，回顧這些經(jīng)典的語言模型論文是大有裨益的。比如自BERT模型出現(xiàn)以后，提高模型參數(shù)量的同時降低大模型的計算成本，就一直是該領(lǐng)域的一個熱點方向。
Github上的這個論文解讀項目就精選了多篇相關(guān)論文，以一篇對知識蒸餾方法TinyBERT的解讀為例：
這項工作由年華中科技大學和華為諾亞方舟實驗室合作，在2019年提出。這篇解讀概括了TinyBERT這項工作的三個核心貢獻：Transformer蒸餾、兩步蒸餾過程、數(shù)據(jù)增強，這些方法改進了基于Transformer的模型在特定情況下的知識蒸餾效果。
首先是Transformer蒸餾。這部分介紹了論文所用蒸餾方法的核心思想和公式，并解釋了先前的蒸餾工作DistillBERT的弊端，如它使用教師模型來初始化學生模型的權(quán)重，導致兩者必須有相同的內(nèi)部尺寸并允許層數(shù)不同，而TinyBERT通過在嵌入和隱藏損失函數(shù)中引入可學習的投影矩陣來規(guī)避這個問題，從而使得學生和教師模型的內(nèi)部表示在元素方面可以進行比較。
另外，解讀作者還在這里引用了另一項相關(guān)研究，為TinyBERT的進一步工作提出了一個有趣的方向。
然后是兩步蒸餾法。這里說明了TinyBERT所使用的蒸餾過程遵循了原始BERT的訓練方法——在大規(guī)模的通用數(shù)據(jù)集上進行預訓練以獲得語言特征，然后針對特定任務(wù)數(shù)據(jù)進行微調(diào)。所以在第一個步驟中，使用在通用數(shù)據(jù)上訓練的通用BERT作為教師，學生學習模仿教師的嵌入和轉(zhuǎn)換層激活來創(chuàng)建一個通用的TinyBERT；在第二個步驟中，將教師模型切換到特定任務(wù)模型并繼續(xù)訓練學生模型。
第三個是數(shù)據(jù)增強。這部分介紹了論文作者使用了數(shù)據(jù)增強技術(shù)來在微調(diào)步驟中對特定任務(wù)的數(shù)據(jù)集進行擴展。
之后文章精簡地呈現(xiàn)了原始論文中TInyBERT的關(guān)鍵數(shù)據(jù)，如該模型的性能在基準測試中達到了BERT基礎(chǔ)教師模型的96%，同時體積縮小了7.5倍，速度提高了9.4倍。
針對原始論文的三個核心貢獻，文章還給出了一些有價值的思考，如特定任務(wù)的蒸餾（微調(diào)）比通用蒸餾（預訓練）更重要等等。
Swin Transformer解讀
再比如當年屠榜各大視覺任務(wù)的Swin Transformer，由微軟亞洲研究院郭百寧團隊提出，是視覺領(lǐng)域的研究者必讀的一篇論文，這項工作也在這個論文解讀項目有精彩的分享：
文章首先以原始論文中的關(guān)鍵圖表，簡要介紹了Swin Transformer的基本方法及其核心設(shè)計元素。
然后邏輯清晰地詳解了Swin Transformer的架構(gòu)細節(jié)，包括4個stage和Swin Transformer Block
接著列出了Swin Transformer的幾項實驗：
有興趣的讀者可以自行前往該項目探索一番，如果想分享自己的論文解讀，也可以向該項目提交PR。據(jù)項目作者透露，后續(xù)還將推出notebook和講座，幫助大家更好地跟進研究進展。
更多內(nèi)容，點擊下方關(guān)注：
未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！
公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
