本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

6 concepts of Andrew NG’s book: “Machine Learning Yearning”

作者 | Niklas Donges

翻譯 | 我系墻頸鹿~、GuardSkill、約翰遜 · 李加薪、謝玄xx、Tree123456  

校對(duì) | 醬番梨        審核 | 鄧普斯?杰弗       整理 | 立魚(yú)王

原文鏈接：

https://towardsdatascience.com/6-concepts-of-andrew-ngs-book-machine-learning-yearning-abaf510579d4

Machine Learning Yearning這本書(shū)講述了如何構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目。 這本書(shū)包含了難以在其他地方找到的實(shí)用見(jiàn)解，并且這本書(shū)的格式易于與隊(duì)友和合作者分享。 大多數(shù)技術(shù)人工智能課程將向您解釋不同的ML算法的幕后工作原理，但本書(shū)將教您如何實(shí)際使用它們。 如果您渴望成為AI的技術(shù)的引領(lǐng)者，本書(shū)將對(duì)您有很大的幫助。 在這之前，學(xué)習(xí)到如何制定人工智能項(xiàng)目戰(zhàn)略性的決策的唯一方法是參加研究生課程或在公司工作獲取經(jīng)驗(yàn)。  Machine Learning Yearning  可以幫助您快速掌握這項(xiàng)技能，使您能夠更好地構(gòu)建復(fù)雜的AI系統(tǒng)。

目錄

• 關(guān)于作者  
  

• 介紹  
  

• 概念1：迭代，迭代，迭代......  
  

• 概念2：使用單一評(píng)估指標(biāo)    
  

• 概念3：錯(cuò)誤分析至關(guān)重要  
  

• 概念4：定義最佳錯(cuò)誤率 

• 概念5：研究人類(lèi)可以做得好的問(wèn)題
  

• 概念6：如何分割數(shù)據(jù)集

• 總結(jié)

  關(guān)于作者

Andrew NG是計(jì)算機(jī)科學(xué)家，執(zhí)行官，投資人，企業(yè)家，也是人工智能領(lǐng)域的領(lǐng)先專(zhuān)家之一。 他是百度的前任副總裁兼首席科學(xué)家，是斯坦福大學(xué)的兼職教授，是最受歡迎的機(jī)器學(xué)習(xí)在線(xiàn)課程的創(chuàng)建者之一，Coursera.com的聯(lián)合創(chuàng)始人以及Google Brain的前負(fù)責(zé)人。 在百度，他的積極參與將人工智能團(tuán)隊(duì)擴(kuò)展到數(shù)千人。

  簡(jiǎn)介

這本書(shū)從這樣一個(gè)小故事開(kāi)始：想象一下，你想建立一個(gè)一家公司，它擁有前沿的貓檢測(cè)系統(tǒng)。目前你已經(jīng)構(gòu)建了一個(gè)原型系統(tǒng)，但不幸的是，系統(tǒng)性能并不是那么好。 你的團(tuán)隊(duì)提出了一些如何改進(jìn)系統(tǒng)的想法，但你對(duì)改良方法的選取感到困惑。 現(xiàn)在，你可以構(gòu)建世界領(lǐng)先的貓檢測(cè)器平臺(tái)，或者在錯(cuò)誤的改良方向上浪費(fèi)幾個(gè)月的時(shí)間。

這本書(shū)是告訴你如何在這種情況下決定和優(yōu)先排序的。 吳恩達(dá)曾說(shuō)過(guò)，大多數(shù)機(jī)器學(xué)習(xí)問(wèn)題都會(huì)留下許多線(xiàn)索，這些線(xiàn)索會(huì)提示你最有用的后續(xù)步驟以及你應(yīng)該避免做什么。吳恩達(dá)還接著解釋道，在機(jī)器學(xué)習(xí)領(lǐng)域，學(xué)習(xí)“閱讀”這些線(xiàn)索是一項(xiàng)重要的技能。

簡(jiǎn)而言之，ML Yearning旨在讓您深入了解一些改進(jìn)機(jī)器學(xué)習(xí)項(xiàng)目的技巧性方向。

由于您的團(tuán)隊(duì)成員在當(dāng)你提出新的做事想法時(shí)可能會(huì)持懷疑態(tài)度，因此吳恩達(dá)將本章節(jié)（簡(jiǎn)介）進(jìn)行了縮短（只有1-2頁(yè)），以便您的團(tuán)隊(duì)成員可以在幾分鐘內(nèi)閱讀它以理解概念背后的想法。如果您有興趣閱讀這本書(shū)，請(qǐng)注意它其實(shí)并不適合初學(xué)者，因?yàn)樗笞x者對(duì)監(jiān)督的學(xué)習(xí)和深度學(xué)習(xí)有基本的了解。

在這篇短文中，根據(jù)我的理解，我將用我自己的表達(dá)方式來(lái)分享這本書(shū)的六個(gè)概念。

  概念1：迭代，迭代，迭代...... 

NG（吳恩達(dá)）在整本書(shū)中都在強(qiáng)調(diào)，快速迭代是至關(guān)重要的，因?yàn)闄C(jī)器學(xué)習(xí)是一個(gè)迭代過(guò)程。您應(yīng)該盡可能快地為您的問(wèn)題構(gòu)建構(gòu)建一個(gè)簡(jiǎn)單的原型，而不是考慮如何打造更加完美的ML（機(jī)器學(xué)習(xí)）系統(tǒng)。如果您不是機(jī)器學(xué)習(xí)問(wèn)題領(lǐng)域的專(zhuān)家，則更應(yīng)該這樣做，因?yàn)橐_地猜測(cè)最有希望的方向是非常困難的。

您應(yīng)該在短短幾天內(nèi)構(gòu)建第一個(gè)原型，然后線(xiàn)索將會(huì)浮現(xiàn)出來(lái)，向您展示改善原型性能的最有希望的方向。在下一次系統(tǒng)的迭代中，您將基于這些線(xiàn)索之一改進(jìn)系統(tǒng)并構(gòu)建其新的版本。你會(huì)一次又一次地這樣來(lái)更新機(jī)器學(xué)習(xí)系統(tǒng)。

他繼續(xù)解釋說(shuō)，迭代地越快，你將取得的進(jìn)展越多。本書(shū)的其他概念建立在這一原則之上。請(qǐng)注意，這適用于那些只想構(gòu)建基于A(yíng)I的應(yīng)用程序而不在該領(lǐng)域進(jìn)行研究的人員。

  概念2：使用單一評(píng)價(jià)標(biāo)準(zhǔn)

這個(gè)概念建立在前一個(gè)概念的基礎(chǔ)上，并且要解釋為什么您應(yīng)該選擇一種評(píng)價(jià)標(biāo)準(zhǔn)非常簡(jiǎn)單：它讓您能夠快速評(píng)估算法，因此您可以更快地迭代。使用多個(gè)評(píng)估指標(biāo)只會(huì)使算法的比較變得更加困難。

想象一下，你有兩種算法。第一個(gè)的精度為94％，召回率為89％。第二個(gè)的精度為88％，召回率為95％。

如果你沒(méi)有選擇單一的評(píng)價(jià)標(biāo)準(zhǔn)，那么就沒(méi)有分類(lèi)器有明顯的優(yōu)越性，所以你可能不得不花一些時(shí)間來(lái)弄明白哪個(gè)分類(lèi)器更好。問(wèn)題是，你在每次版本迭代時(shí)都會(huì)浪費(fèi)很多時(shí)間完成這項(xiàng)任務(wù)，并且從長(zhǎng)遠(yuǎn)來(lái)看這種時(shí)間會(huì)增加。您將嘗試很多關(guān)于體系結(jié)構(gòu)，參數(shù)，特征等的想法。如果您使用單一評(píng)價(jià)標(biāo)準(zhǔn)（例如精度或f1分?jǐn)?shù)），則可以根據(jù)其模型性能對(duì)所有模型進(jìn)行排序，并迅速?zèng)Q定哪一個(gè)最佳。改進(jìn)評(píng)估過(guò)程的另一種方法是將多個(gè)評(píng)價(jià)標(biāo)準(zhǔn)組合成單個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，例如，通過(guò)平均多個(gè)誤差評(píng)價(jià)標(biāo)準(zhǔn)。

然而，將存在需要滿(mǎn)足多個(gè) 評(píng)價(jià)標(biāo)準(zhǔn)的ML（機(jī)器學(xué)習(xí)）問(wèn)題，例如：有些問(wèn)題需要考慮運(yùn)行時(shí)間。 NG（吳恩達(dá)）解釋說(shuō)，您應(yīng)該定義一個(gè)“可接受的”運(yùn)行時(shí)間，這使您能夠快速過(guò)濾掉出太慢的算法，并根據(jù)您的單一評(píng)價(jià)標(biāo)準(zhǔn)將令人滿(mǎn)意的算法相互比較。

簡(jiǎn)而言之，單一評(píng)價(jià)標(biāo)準(zhǔn)使您能夠快速評(píng)估算法，從而更快地進(jìn)行版本迭代。

  概念3: 錯(cuò)誤分析很重要

錯(cuò)誤分析是查看算法哪里輸出不正確的過(guò)程。 例如，假設(shè)當(dāng)你的貓分類(lèi)器會(huì)錯(cuò)誤的將鳥(niǎo)類(lèi)分類(lèi)為貓，你可能已經(jīng)有若干個(gè)改進(jìn)想法。

通過(guò)正確的錯(cuò)誤分析，你可以評(píng)估改進(jìn)想法是否會(huì)真的提高系統(tǒng)的性能，而不需要在花費(fèi)幾個(gè)月的時(shí)間實(shí)現(xiàn)這個(gè)想法后卻意識(shí)到它對(duì)系統(tǒng)并不重要。這能夠決定將資源花在哪個(gè)想法上達(dá)到好的效果。如果你發(fā)現(xiàn)錯(cuò)誤分類(lèi)的圖像中只有9%是鳥(niǎo)類(lèi)，那么無(wú)論如何改進(jìn)算法對(duì)鳥(niǎo)類(lèi)圖像的性能都沒(méi)有影響，因?yàn)樗粫?huì)提高超過(guò)9%的錯(cuò)誤。

此外，它能夠幫助你同時(shí)快速評(píng)估判斷若干改進(jìn)的想法的性能。只需要?jiǎng)?chuàng)建并填寫(xiě)一個(gè)電子表格，同時(shí)檢查100個(gè)錯(cuò)誤分類(lèi)的驗(yàn)證集圖像。在電子表格中，為每一個(gè)分類(lèi)錯(cuò)誤的圖像創(chuàng)建一行，為每一個(gè)需要改進(jìn)的想法創(chuàng)建列。然后你仔細(xì)檢查每一個(gè)錯(cuò)誤分類(lèi)的圖像，并標(biāo)記出正確分類(lèi)的圖像。

之后，你就會(huì)知道準(zhǔn)確的評(píng)估結(jié)果. 例如，使用想法1，系統(tǒng)可以正確地對(duì)40%的未分類(lèi)圖像進(jìn)行分類(lèi)，想法2為12%，想法3僅為9%。然后你就會(huì)知道，對(duì)你的團(tuán)隊(duì)來(lái)說(shuō)想法1最有價(jià)值。

此外，一旦你開(kāi)始查看這些示例，你也許會(huì)對(duì)如何改進(jìn)算法產(chǎn)生新想法。

  概念4：定義最優(yōu)錯(cuò)誤率

最優(yōu)錯(cuò)誤率有助于指導(dǎo)您進(jìn)行后續(xù)的學(xué)習(xí)。在統(tǒng)計(jì)中，它通常也稱(chēng)為貝葉斯錯(cuò)誤率。

想象一下，您正在將構(gòu)建一個(gè)語(yǔ)音-文本系統(tǒng)，并且發(fā)現(xiàn)您希望用戶(hù)提交音頻文件的19％都具有如此顯著的背景噪音，即使是人類(lèi)也無(wú)法識(shí)別那里所說(shuō)的內(nèi)容。如果是這種情況，您就會(huì)知道——即使是最好的系統(tǒng)也可能會(huì)出現(xiàn)大約19％的誤差。相反，如果您處理的問(wèn)題的最佳錯(cuò)誤率接近0％，您就可以希望您的系統(tǒng)也能做到這一點(diǎn)。

最優(yōu)錯(cuò)誤率還可以幫助您檢測(cè)算法是否存在高偏差或方差，這有助于您在后續(xù)步驟中改進(jìn)算法。

然而，我們?nèi)绾沃雷罴彦e(cuò)誤率是多少？對(duì)于人類(lèi)擅長(zhǎng)的任務(wù)，您可以將系統(tǒng)的性能與人類(lèi)的性能進(jìn)行比較，從而估算出最佳錯(cuò)誤率。在其他情況下，通常很難確定，這就是你應(yīng)該可以解決人類(lèi)能夠做得好的某些問(wèn)題的原因，而這些原因我們將在下一個(gè)概念中討論。

  概念5：研究那些人類(lèi)可以做得好的問(wèn)題

在整本書(shū)中，吳恩達(dá)多次解釋為什么他建議人們?nèi)パ芯磕切┤祟?lèi)自己可以做的足夠好的機(jī)器學(xué)習(xí)類(lèi)問(wèn)題，如語(yǔ)音識(shí)別，圖像分類(lèi)，物體檢測(cè)等。原因如下：

首先，獲取或創(chuàng)建有標(biāo)注的數(shù)據(jù)集更容易，因?yàn)槿绻藗兛梢宰约航鉀Q問(wèn)題的話(huà)，他們可以直接為學(xué)習(xí)算法提供高精度標(biāo)簽。

其次，您可以將人類(lèi)表現(xiàn)作為您希望自己編寫(xiě)的算法所能達(dá)到的最佳錯(cuò)誤率。吳恩達(dá)解釋說(shuō)，定義合理且可實(shí)現(xiàn)的最佳錯(cuò)誤有助于加快團(tuán)隊(duì)的研究進(jìn)度。它還可以幫助您檢測(cè)您的算法是否存在高偏差或方差。

第三，它使您能夠根據(jù)您的人類(lèi)直覺(jué)進(jìn)行錯(cuò)誤分析。例如，如果您正在構(gòu)建語(yǔ)音識(shí)別系統(tǒng)，且您的模型對(duì)其輸入進(jìn)行了錯(cuò)誤分類(lèi)，您就可以嘗試了解人類(lèi)將使用哪些信息來(lái)獲取正確的轉(zhuǎn)錄，并使用此信息相應(yīng)地修改學(xué)習(xí)算法。雖然在越來(lái)越多人類(lèi)自己無(wú)法做好的任務(wù)中，算法在不斷地超越人類(lèi)，但你應(yīng)該盡量避免這些問(wèn)題。

總而言之，您應(yīng)該避免這些任務(wù)，因?yàn)樗沟毛@取數(shù)據(jù)的標(biāo)簽變得更加困難，您也不能總依賴(lài)于人類(lèi)的直覺(jué)。并且，我們也很難知道最佳錯(cuò)誤率是多少。

  概念6：如何分割數(shù)據(jù)集

吳恩達(dá)老師還提出了一種如何分割數(shù)據(jù)集的方法。他建議如下：

訓(xùn)練集：使用它，你可以訓(xùn)練你的算法，而不需要其他任何東西。

開(kāi)發(fā)集：這個(gè)集合用于進(jìn)行超參數(shù)調(diào)整、選擇和創(chuàng)建適當(dāng)?shù)奶匦砸约斑M(jìn)行錯(cuò)誤分析。它基本上是用來(lái)決定你的算法的。

測(cè)試集：測(cè)試集用于評(píng)估系統(tǒng)的性能，但不用于做決定。它只是用來(lái)評(píng)估的，沒(méi)有別的。

開(kāi)發(fā)集和測(cè)試集允許您的團(tuán)隊(duì)快速評(píng)估算法的性能。它們的目的是指導(dǎo)您對(duì)系統(tǒng)進(jìn)行最重要的更改。

他建議選擇開(kāi)發(fā)和測(cè)試集，以便它們反映出您希望在部署系統(tǒng)后在將來(lái)能夠很好地處理的數(shù)據(jù)。如果您希望數(shù)據(jù)與當(dāng)前正在培訓(xùn)的數(shù)據(jù)不同，則尤其如此。例如，您正在接受普通相機(jī)圖像的培訓(xùn)，但稍后系統(tǒng)將只接收手機(jī)拍攝的照片，因?yàn)樗且苿?dòng)應(yīng)用程序的一部分。如果你沒(méi)有足夠的手機(jī)照片來(lái)訓(xùn)練你的系統(tǒng)，這種情況可能會(huì)發(fā)生。因此，您應(yīng)該選擇測(cè)試集示例，這些示例反映出您希望在以后的實(shí)際情況中表現(xiàn)出色的內(nèi)容，而不是用于培訓(xùn)的數(shù)據(jù)。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

另外，您應(yīng)該選擇來(lái)自同一發(fā)行版的開(kāi)發(fā)和測(cè)試集。否則，您的團(tuán)隊(duì)有可能會(huì)在開(kāi)發(fā)人員集上構(gòu)建一些性能良好的東西，結(jié)果發(fā)現(xiàn)它在測(cè)試數(shù)據(jù)上的性能非常差，這是您應(yīng)該關(guān)心的。

  總結(jié)

在這篇文章中，您已經(jīng)了解了《Machine Learning Yearning》這本書(shū)中的6個(gè)概念?，F(xiàn)在您知道了，為什么快速迭代很重要，為什么應(yīng)該使用單個(gè)數(shù)字評(píng)估度量，以及什么是錯(cuò)誤分析，以及為什么它至關(guān)重要。此外，您還了解了最佳錯(cuò)誤率、為什么您應(yīng)該處理人類(lèi)可以做得很好的問(wèn)題以及如何分割數(shù)據(jù)。此外，您還了解到，您應(yīng)該選擇開(kāi)發(fā)和測(cè)試集數(shù)據(jù)，以便它們反映出您希望在將來(lái)很好地處理的數(shù)據(jù)，并且開(kāi)發(fā)和測(cè)試集應(yīng)該來(lái)自相同的分發(fā)。我希望這篇文章能給你介紹一下這本書(shū)的一些概念，我可以肯定地說(shuō)，這本書(shū)值得一讀。

這篇文章最初發(fā)表在我的博客上（https://machinelearning blog.com）。

來(lái)源

• Machine Learning Yearning：https://www.mlangenging.org/
  

• Img：“吳恩達(dá)”：由英偉達(dá)公司在“CC NC-ND 2”許可證下取得。未做任何更改。鏈接：https://www.flickr.com/photos/nvidia/16841620756

• Img：“Metric”: https://pixabay.com/de/antrieb-auto-verkehr-stra%C3%9Fe-44276/

• img：“Math Error”：https://pixabay.com/de/antrieb auto verkehr stra%c3%9fe-44276/

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【Andrew Ng的《Machine Learning Yearning》中六個(gè)重要概念】即可訪(fǎng)問(wèn)：

https://ai.yanxishe.com/page/TextTranslation/1506

社長(zhǎng)今日推薦：2019 最新斯坦福 CS224nNLP 課程

自然語(yǔ)言處理（NLP）是信息時(shí)代最重要的技術(shù)之一，也是人工智能的關(guān)鍵部分。NLP的應(yīng)用無(wú)處不在，因?yàn)槿藗儙缀跤谜Z(yǔ)言進(jìn)行交流：網(wǎng)絡(luò)搜索，廣告，電子郵件，客戶(hù)服務(wù)，語(yǔ)言翻譯，醫(yī)學(xué)報(bào)告等。近年來(lái)，深度學(xué)習(xí)方法在許多不同的NLP任務(wù)中獲得了非常高的性能，使用單個(gè)端到端神經(jīng)模型，不需要傳統(tǒng)的，任務(wù)特定的特征工程。在本課程中，學(xué)生將深入了解NLP深度學(xué)習(xí)的前沿研究。

課程鏈接：https://ai.yanxishe.com/page/groupDetail/59

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。