0
字幕組雙語原文：機器學習中的數(shù)學意義
英語原文：Digit Significance in Machine Learning
機器學習中的用于聲稱性能的指標標準很少被討論。由于在這個問題上似乎沒有一個明確的、廣泛的共識，因此我認為提供我一直在倡導并盡可能遵循的標準可能會很有趣。它源于這個簡單的前提，這是我的科學老師從中學開始就灌輸給我的：
科學報告的一般規(guī)則是，您寫下的每個數(shù)字都應為“ 真”的，因為“ 真”的定義是什么。
讓我們來研究一下這對測試性能等統(tǒng)計量意味著什么。當你在科學出版物中寫下以下陳述時：
測試準確率為52.34%。你所表達的是，據(jù)你所知，你的模型在從測試分布中提取的未見數(shù)據(jù)上成功的概率在0.52335和0.52345之間。
這是一個非常強有力的聲明。
考慮你的測試集是從正確的測試分布中抽取的N個樣本IID組成的。成功率可以表示為一個二項式變量，其平均概率p由樣本平均值估計：p ? s / N
其標準差為：σ=√p（1-p）。
其中當p=0.5時，其上限為0.5。
在正態(tài)近似下，估計量的標準差為：δ=σ/√N。
這個精度估計上的誤差δ 是這樣的，在最壞的情況下，有約50%的精度：
換句話說，為了保證上述報告中例子52.34%的準確率，你的測試集的大小至少應該在30M樣本的數(shù)量級上！這種粗略的分析很容易轉(zhuǎn)化為除了準確率以外的任何可計算的數(shù)量，盡管不能轉(zhuǎn)化為像似然率或困惑度這樣的連續(xù)數(shù)字。
下面是一些常見的機器學習數(shù)據(jù)集的說明。
在ImageNet上可以合理地報告多少位數(shù)的精度？準確率在80%左右，測試集是15萬張圖片：
√(0.8*0.2/150000) = 0.103%
這意味著你幾乎可以報告XX.X%的數(shù)字，而實際上每個人都是這樣做的。
MNIST呢，準確率在99%：
√(0.99*0.01/10000) = 0.099%
噗，也報個XX.X%就OK了!
然而，最值得注意的是，在大多數(shù)情況下，性能數(shù)據(jù)并不是單獨呈現(xiàn)的，而是用來比較同一測試集上的多種方法。在這種情況下，實驗之間的抽樣方差會被抵消，即使在樣本量較小的情況下，它們之間的準確度差異也可能在統(tǒng)計學上很顯著。估計圖方差的一個簡單方法是執(zhí)行bootstrap重采樣。更嚴格、通常更嚴格的檢驗包括進行配對差異檢驗或更普遍的方差分析。
報告超出其內(nèi)在精度的數(shù)字可能很具有極大的吸引力，因為在與基線進行比較的情況下，或者當人們認為測試集是一成不變的情況下，同時也不是從測試分布中抽取的樣本時，性能數(shù)字往往更加重要。當在生產(chǎn)中部署模型時，這種做法會讓人感到驚訝，并且固定的測試集假設突然消失了，還有一些無關緊要的改進。更普遍的是，這種做法會直接導致對測試集進行過擬合。
那么，在我們的領域中數(shù)字為“真”意味著什么？好吧，這確實很復雜。對于工程師而言，很容易辯稱不應該報告的尺寸超出公差?；蛘邔τ谖锢韺W家來說，物理量不應超過測量誤差。對于機器學習從業(yè)者，我們不僅要應對測試集的采樣不確定性，而且還要應對獨立訓練運行，訓練數(shù)據(jù)的不同初始化和改組下的模型不確定性。
按照這個標準，在機器學習中很難確定哪些數(shù)字是 "真 "的。解決辦法當然是盡可能地報告其置信區(qū)間。置信區(qū)間是一種更精細的報告不確定性的方式，可以考慮到所有隨機性的來源，以及除簡單方差之外的顯著性檢驗。它們的存在也向你的讀者發(fā)出信號，表明你已經(jīng)考慮過你所報告的內(nèi)容的意義，而不僅僅是你的代碼所得到的數(shù)字。用置信區(qū)間表示的數(shù)字可能會被報告得超出其名義上的精度，不過要注意的是，你現(xiàn)在必須考慮用多少位數(shù)來報告不確定性，正如這篇博文所解釋的那樣。一路走來都是烏龜。
數(shù)字少了，雜亂無章的東西就少了，科學性就強了。
避免報告超出統(tǒng)計學意義的數(shù)字結果，除非你為它們提供一個明確的置信區(qū)間。這理所當然地被認為是科學上的不良行為，尤其是在沒有進行配對顯著性測試的情況下，用來論證一個數(shù)字比另一個數(shù)字好的時候。僅憑這一點就經(jīng)常有論文被拒絕。一個良好的習慣是對報告中帶有大量數(shù)字的準確率數(shù)字始終持懷疑態(tài)度。還記得3000萬、30萬和30萬的經(jīng)驗法則對最壞情況下作為“嗅覺測試”的統(tǒng)計顯著性所需樣本數(shù)量的限制嗎?它會讓你避免追逐統(tǒng)計上的“幽靈”。
(感謝為本文早期版本提供寶貴意見的一些同事)
雷鋒字幕組是一個由AI愛好者組成的翻譯團隊，匯聚五五多位志愿者的力量，分享最新的海外AI資訊，交流關于人工智能技術領域的行業(yè)轉(zhuǎn)變與技術創(chuàng)新的見解。
團隊成員有大數(shù)據(jù)專家，算法工程師，圖像處理工程師，產(chǎn)品經(jīng)理，產(chǎn)品運營，IT咨詢?nèi)?，在校師生；志愿者們來自IBM，AVL，Adobe，阿里，百度等知名企業(yè)，北大，清華，港大，中科院，南卡羅萊納大學，早稻田大學等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
