0
| 本文作者： AI研習(xí)社-譯站 | 2021-01-12 14:22 |
譯者：AI研習(xí)社（聽風(fēng)1996）
雙語原文鏈接：Scaling down Deep Learning
不管是按什么樣的科學(xué)標(biāo)準(zhǔn)，人類基因組項(xiàng)目都是巨大的：它涉及數(shù)十億美元的資金，數(shù)十家機(jī)構(gòu)以及超過十多年的快速研究進(jìn)展。但這僅僅是冰山一角。早在項(xiàng)目開始之前，科學(xué)家們就在全力整理人類遺傳學(xué)這門復(fù)雜的科學(xué)。而大多數(shù)時(shí)候，他們研究的不是人類。遺傳學(xué)的基礎(chǔ)性發(fā)現(xiàn)都集中在如豌豆、霉菌、果蠅和小鼠等非常簡單的生物體上，時(shí)至今日，生物學(xué)家為了節(jié)省時(shí)間、精力和金錢，將這些更簡單的生物體作為遺傳學(xué)的 "最小工作范例"。一個(gè)精心設(shè)計(jì)的果蠅實(shí)驗(yàn)，如Feany和Bender（2000），可以讓我們學(xué)到關(guān)于人類的令人嘆為觀止的東西。
與果蠅相似的是深度學(xué)習(xí)中所使用的是MNIST數(shù)據(jù)集。大量的深度學(xué)習(xí)創(chuàng)新工作，包括drop，Adam，卷積網(wǎng)絡(luò)，生成式對(duì)抗網(wǎng)絡(luò)和變分自編碼器，都從MNIST實(shí)驗(yàn)開始。一旦這些創(chuàng)新在小型實(shí)驗(yàn)中證明了自己的能力，科學(xué)家們就找到了將它們擴(kuò)展到更大、更有影響力的應(yīng)用。
果蠅和MNIST的關(guān)鍵優(yōu)勢(shì)在于它們可以極大地加快探索性研究的迭代周期。以果蠅為例，果蠅的生命周期只有幾天，其營養(yǎng)需求可以忽略不計(jì)。這比哺乳動(dòng)物，尤其是人類更容易與之合作。對(duì)于MNIST而言，訓(xùn)練一個(gè)強(qiáng)大的分類器只需要幾十行代碼，不到一分鐘的時(shí)間，耗電量可忽略不計(jì)。這與最先進(jìn)的視覺，文本和游戲模型形成鮮明對(duì)比，后者可能需要花費(fèi)數(shù)月甚至數(shù)十萬美元的電力資料來訓(xùn)練模型。
然而，盡管MNIST具有歷史意義，但它有三個(gè)顯著的缺點(diǎn)。首先，它在區(qū)分線性、非線性和平移不變性的模型方面做得很差。例如，logistic、MLP和CNN基準(zhǔn)在它身上獲得94、99+和99+%的準(zhǔn)確率。這就很難衡量CNN的空間先驗(yàn)的貢獻(xiàn)，也很難判斷不同正則化方案的相對(duì)有效性。其次，對(duì)于一個(gè)玩具（譯者注：極小）數(shù)據(jù)集來說，它有些大。每個(gè)輸入例子都是一個(gè)784維的向量，因此當(dāng)執(zhí)行超參搜索或調(diào)試元學(xué)習(xí)循環(huán)需要不小的計(jì)算量。第三，MNIST很難被改寫。理想的小型數(shù)據(jù)集應(yīng)該是程序化生成的，這樣研究人員就可以輕易地改變背景噪聲、平移性和分辨率等參數(shù)。
為了解決這些缺點(diǎn)，我們提出了MNIST-1D數(shù)據(jù)集。它是MNIST的一個(gè)極簡化、低內(nèi)存和低計(jì)算量的替代方案，專為探索性深度學(xué)習(xí)研究而設(shè)計(jì)，其中能夠快速迭代是我們優(yōu)先考慮的要求。訓(xùn)練實(shí)例小了20倍，但它們?nèi)阅芨玫卦u(píng)估1）線性和非線性分類器之間的差異，以及2）是否具有空間歸納偏差（例如平移不變性）的模型。雖然數(shù)據(jù)集是程序自動(dòng)化生成的，但仍可以類比到現(xiàn)實(shí)世界中的數(shù)字分類。
構(gòu)建MNIST-1D數(shù)據(jù)集。與MNIST一樣，分類器的目標(biāo)是確定輸入中存在哪個(gè)數(shù)字。與MNIST不同的是，每個(gè)例子都是一個(gè)一維的點(diǎn)序列。為了生成一個(gè)示例，我們從一個(gè)數(shù)字模板開始，然后隨機(jī)對(duì)其進(jìn)行填充、平移和轉(zhuǎn)換。
在MNIST-1D數(shù)據(jù)集上可視化常見模型的性能。該數(shù)據(jù)集根據(jù)它們是否使用非線性特征(邏輯回歸vs. MLP)或是否存在空間歸納偏差(MLP vs. CNN)將它們清晰地分開。人類做得最好。最好可以放大來觀察上圖結(jié)果。
在本節(jié)中，我們將探討MNIST-1D如何用于研究核心 "深度學(xué)習(xí)科學(xué) "現(xiàn)象的幾個(gè)例子。
尋找彩票。深度學(xué)習(xí)模型的參數(shù)比真正所需參數(shù)的多十倍甚至百倍是很正常的。這種過度參數(shù)化有助于訓(xùn)練，但會(huì)增加計(jì)算開銷。一種解決方案是在訓(xùn)練過程中逐步修剪模型中的權(quán)重，使最終的網(wǎng)絡(luò)只是其原始大小的一小部分。雖然這種方法可行，但傳統(tǒng)觀點(diǎn)認(rèn)為，稀疏網(wǎng)絡(luò)從頭開始訓(xùn)練效果不好。Frankle & Carbin（2019）最近的工作挑戰(zhàn)了這種傳統(tǒng)觀點(diǎn)。作者報(bào)告稱，在更大的網(wǎng)絡(luò)發(fā)現(xiàn)了稀疏的子網(wǎng)絡(luò)，這些網(wǎng)絡(luò)的訓(xùn)練精度相當(dāng)甚至更高。這些 "彩票 "子網(wǎng)絡(luò)可以通過一個(gè)簡單的迭代程序得到：訓(xùn)練一個(gè)網(wǎng)絡(luò)，修剪最小的權(quán)重， 然后將其余的權(quán)重倒回其原始初始化并重新訓(xùn)練。
自從原始論文發(fā)表以來，大量的工作都試圖解釋這一現(xiàn)象，然后將其用于在更大的數(shù)據(jù)集和模型上。然而，很少有工作試圖找出這種影響的“最小工作實(shí)例”，以便對(duì)其進(jìn)行更仔細(xì)的研究。下圖顯示了MNIST-1D數(shù)據(jù)集不僅會(huì)使之成為可能，而且使我們能夠通過精心控制的實(shí)驗(yàn)，闡明彩票成功的一些原因。與許多后續(xù)實(shí)驗(yàn)不同的是，這個(gè)實(shí)驗(yàn)只花了研究人員兩天的時(shí)間就制作完成了。有興趣的讀者也可以在瀏覽器中僅需幾分鐘內(nèi)便可復(fù)現(xiàn)這些結(jié)果。
查詢和分析 lottery tickets。在a-b）中，我們隔離了該效應(yīng)下的一個(gè) "最小可行示例 "。 Morcos et al (2019) 最近的工作表明， lottery tickets可以在數(shù)據(jù)集之間轉(zhuǎn)移。我們想確認(rèn)空間歸納偏差是否在其中起到了作用。因此，我們進(jìn)行了一系列實(shí)驗(yàn)：在c）中，我們繪制了92%稀疏 lottery tickets的漸近性能。在d)中，我們將數(shù)據(jù)集中所有的1D信號(hào)反轉(zhuǎn)，有效地保留了空間結(jié)構(gòu)，但改變了各個(gè)數(shù)據(jù)點(diǎn)的位置。這類似于將圖像倒轉(zhuǎn)過來。在這種消融作用下， lottery tickets繼續(xù)保持不敗。
接下來，在e）中，我們對(duì)1D信號(hào)的索引進(jìn)行了置換，從而有效地從數(shù)據(jù)集中去除空間結(jié)構(gòu)。這種消融對(duì) lottery tickets性能的損傷明顯更大，說明 lottery tickets中的部分性能可以歸結(jié)為空間歸納偏差。最后，在f)中，我們保持lottery tickets的稀疏性結(jié)構(gòu)，但用不同的隨機(jī)種子初始化其權(quán)重。與Frankle & Carbin（2019）中報(bào)告的結(jié)果相反，我們看到我們的 lottery tickets繼續(xù)優(yōu)于眾多基線模型，與我們的假設(shè)一致，即 lottery tickets背后具有空間歸納偏差。在g)中，我們通過測(cè)量模型第一層中未掩膜的權(quán)重彼此相鄰的頻率來驗(yàn)證我們的假設(shè)。lottery tickets的相鄰權(quán)重比隨機(jī)預(yù)測(cè)的要多很多，這意味著局部連接結(jié)構(gòu)更容易引起空間偏差。
您還可以可視化通過隨機(jī)和 lottery tickets修剪選擇的實(shí)際掩膜：VISUALIZE MASKS
觀察深度雙重下降。神經(jīng)網(wǎng)絡(luò)的另一個(gè)有趣的屬性是 "雙重下降 "現(xiàn)象。這句話指的是一種訓(xùn)練機(jī)制，其中更多的數(shù)據(jù)、模型參數(shù)量或梯度更新步驟實(shí)際上會(huì)降低模型的測(cè)試精度1 2 3 4。從直覺上看，在監(jiān)督學(xué)習(xí)的過程中，有一個(gè)閾值插值，在這個(gè)閾值下，由模型和優(yōu)化算法組成的學(xué)習(xí)過程剛好可以勉強(qiáng)適合整個(gè)訓(xùn)練集。在這個(gè)閾值上，實(shí)際上只有一個(gè)模型能夠擬合數(shù)據(jù)，而這個(gè)模型對(duì)標(biāo)簽的噪聲和模型化非常敏感。
這種效應(yīng)存在幾個(gè)性質(zhì)，比如什么因素會(huì)影響它的寬度和位置，在深度模型的背景下沒有得到很好的理解。我們認(rèn)為MNIST-1D數(shù)據(jù)集是探索這些屬性的好工具。事實(shí)上，經(jīng)過研究人員幾個(gè)小時(shí)的努力，我們能夠重現(xiàn)雙下降模式。下圖顯示了我們對(duì)一個(gè)全連接的網(wǎng)絡(luò)和卷積模型的結(jié)果。我們還觀察到了一個(gè)細(xì)微的差別，這是我們?cè)谝郧暗墓ぷ髦袥]有看到提到的：當(dāng)使用均方誤差損失時(shí)，插值閾值位于n?Kn?K模型參數(shù)，其中nn是訓(xùn)練樣本的數(shù)量，KK是模型輸出數(shù)量。但是當(dāng)使用負(fù)對(duì)數(shù)似然損失時(shí)，插值閾值取決于神經(jīng)網(wǎng)絡(luò)模型參數(shù)-而不依賴于模型輸出的數(shù)量。這是一個(gè)有趣的實(shí)驗(yàn)觀察，可以解釋在這類任務(wù)中使用對(duì)數(shù)似然損失比MSE損失的一些優(yōu)勢(shì)。你可以在這里重現(xiàn)這些結(jié)果。
觀察深度雙重下降。MNIST-1D是確定深度模型的插值閾值的良好環(huán)境。這個(gè)閾值在全連接模型中相當(dāng)容易預(yù)測(cè)，但對(duì)于其他模型，如CNNs、RNNs和Transformers，則不太容易預(yù)測(cè)。在這里，我們看到CNN在相同的插值閾值下有一個(gè)雙下降峰值，但效果卻不那么明顯。
基于梯度的元學(xué)習(xí)。元學(xué)習(xí)的目標(biāo)是 "學(xué)會(huì)如何學(xué)習(xí)"。一個(gè)模型通過有兩個(gè)層次的優(yōu)化來實(shí)現(xiàn)：第一個(gè)是快速的內(nèi)循環(huán)，對(duì)應(yīng)傳統(tǒng)的學(xué)習(xí)目標(biāo)；第二個(gè)是相對(duì)慢一些的外循環(huán)，更新學(xué)習(xí)過程的 "元 "屬性。元學(xué)習(xí)最簡單的例子之一是基于梯度的超參數(shù)優(yōu)化。這個(gè)概念是由 Bengio (2000) 提出的，然后由 Maclaurin et al. (2015)擴(kuò)展到深度學(xué)習(xí)模型。其基本思想是實(shí)現(xiàn)一個(gè)完全可分的神經(jīng)網(wǎng)絡(luò)訓(xùn)練循環(huán)，然后在整個(gè)過程中進(jìn)行反向傳播，以優(yōu)化學(xué)習(xí)率和權(quán)重衰減等超參數(shù)。
元學(xué)習(xí)是一個(gè)很有前景的課題，但它很卻難擴(kuò)展。首先，元學(xué)習(xí)算法需要消耗大量的時(shí)間和計(jì)算。其次，實(shí)現(xiàn)往往會(huì)變得復(fù)雜，因?yàn)橛袃杀抖嗟某瑓?shù)（每個(gè)優(yōu)化級(jí)別都有一組），而且大多數(shù)深度學(xué)習(xí)框架并沒有為元學(xué)習(xí)專門設(shè)置。這對(duì)在MNIST-1D等小規(guī)模數(shù)據(jù)集上調(diào)試和迭代元學(xué)習(xí)算法提出了特別高的要求。例如，實(shí)現(xiàn)和調(diào)試下圖所示的基于梯度的超參數(shù)優(yōu)化學(xué)習(xí)率只花了幾個(gè)小時(shí)。你可以在這里重現(xiàn)這些結(jié)果。
元學(xué)習(xí)的學(xué)習(xí)率：看第三個(gè)圖，最佳學(xué)習(xí)率似乎是0.6。與許多基于梯度的元學(xué)習(xí)實(shí)現(xiàn)不同，我們的實(shí)現(xiàn)需要幾秒鐘的時(shí)間來運(yùn)行，只占用幾十行代碼。這使得研究人員可以在擴(kuò)大規(guī)模之前對(duì)新穎的想法進(jìn)行迭代。
激活函數(shù)的元學(xué)習(xí)。在實(shí)現(xiàn)了基于梯度的元學(xué)習(xí)的 "最小工作示例 "后，我們意識(shí)到它可以被擴(kuò)展到一個(gè)簡單而新穎的應(yīng)用中：激活函數(shù)的元學(xué)習(xí)。再花上幾個(gè)小時(shí)的研究時(shí)間，我們就能用第二個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)分類器的激活函數(shù)進(jìn)行參數(shù)化，然后使用元梯度學(xué)習(xí)權(quán)重。如下圖所示，我們學(xué)習(xí)的激活函數(shù)大幅優(yōu)于ReLU, Elu5, 和Swish6等基線非線性。你可以在這里復(fù)現(xiàn)這些結(jié)果。
元學(xué)習(xí)得到一個(gè)激活函數(shù)。從一個(gè)ELU形狀開始，我們使用基于梯度的元學(xué)習(xí)來尋找在MNIST-1D數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的最佳激活函數(shù)。激活函數(shù)本身由第二個(gè)（元）神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)化。請(qǐng)注意，上圖中ELU基線（紅色）被tanh基線（藍(lán)色）所遮擋。
我們將這個(gè)激活函數(shù)轉(zhuǎn)移到在MNIST和CIFAR-10圖像上訓(xùn)練的卷積模型上，發(fā)現(xiàn)它達(dá)到了中等的性能。特別是在優(yōu)化的早期，它的訓(xùn)練損耗很低，這也是MNIST-1D 訓(xùn)練的目標(biāo)。不過，當(dāng)我們按最終測(cè)試損失對(duì)非線性進(jìn)行排名時(shí)，它的性能達(dá)到了包中的中等水平。我們懷疑，在更大的模型和數(shù)據(jù)集上運(yùn)行相同的元學(xué)習(xí)算法會(huì)進(jìn)一步完善我們的激活函數(shù)，讓它至少能匹配人為設(shè)計(jì)的最佳激活函數(shù)。不過，我們還是把這個(gè)問題留給以后的工作吧。
測(cè)量深度網(wǎng)絡(luò)的空間先驗(yàn)。深度學(xué)習(xí)的成功很大一部分源于 "深度先驗(yàn)"，其中包括硬編碼的平移不變性（如卷積濾波器）、巧妙的架構(gòu)選擇（如自注意力層）和良好條件下的優(yōu)化場景（如批量歸一化）。這些先決條件中的原則是卷積的平移不變性。這個(gè)數(shù)據(jù)集的一個(gè)主要?jiǎng)訖C(jī)是構(gòu)建一個(gè)小型問題，可以有效地量化一個(gè)模型的空間先驗(yàn)。本篇文章的第二張圖說明了MNIST-1D確實(shí)可以做到這一點(diǎn)。我們可以想象，其他更適度的空間先驗(yàn)的模型將位于MLP和CNN基準(zhǔn)之間的連續(xù)空間中的某個(gè)位置。在這里可以復(fù)現(xiàn)出這些結(jié)果。
池化方法的基準(zhǔn)測(cè)試。我們最后的一個(gè)案例研究是從一個(gè)具體問題開始的。池化和采樣效率之間的關(guān)系是什么？我們沒有發(fā)現(xiàn)有證據(jù)表明池化使模型的采樣效率提高或降低，但這似乎是一個(gè)需要了解的重要關(guān)系?？紤]到這一點(diǎn)，我們用不同的池化方法和訓(xùn)練集大小來訓(xùn)練模型，發(fā)現(xiàn)雖然池化在低維數(shù)據(jù)中往往是有效的，但在高維數(shù)據(jù)體系中并沒有太大的區(qū)別。我們并不完全理解這種效果，但假設(shè)池化是一種普通的架構(gòu)先驗(yàn)，在低數(shù)據(jù)體系中聊勝于無，但在高維數(shù)據(jù)體系中卻最終限制了模型的表達(dá)。同樣的道理，max-pooling在低維數(shù)據(jù)體系中也可能有一個(gè)好的架構(gòu)先驗(yàn)，但在高維數(shù)據(jù)體系中開始刪除信息--因此與L2 pooling相比表現(xiàn)更差。在這里可以復(fù)現(xiàn)出這些結(jié)果。
通用池化方法的基準(zhǔn)測(cè)試。我們發(fā)現(xiàn)，在低維數(shù)據(jù)體系下，池化有助于性能，而在高維數(shù)據(jù)體系下則阻礙了性能。雖然我們并不完全理解這種結(jié)果，我們假設(shè)池化是一種普通的架構(gòu)先決條件，在低維數(shù)據(jù)體系下聊勝于無，但在高數(shù)據(jù)制度下就會(huì)變得過度限制。
這篇文章并不是反對(duì)大規(guī)模機(jī)器學(xué)習(xí)研究的。這種研究已經(jīng)一次又一次地證明了它的價(jià)值，并且已經(jīng)成為ML研究生態(tài)系統(tǒng)中最令人興奮的方面之一。相反，這篇文章支持小規(guī)模的機(jī)器學(xué)習(xí)研究。神經(jīng)網(wǎng)絡(luò)在規(guī)?；蛐阅芊矫鏇]有問題，但它們?cè)诳山忉屝?、可重?fù)性和迭代速度方面確實(shí)存在問題。我們認(rèn)為精心控制的小規(guī)模實(shí)驗(yàn)是解決這些問題的好方法。
事實(shí)上，小規(guī)模研究是對(duì)大規(guī)模研究的補(bǔ)充。在生物學(xué)領(lǐng)域，果蠅遺傳學(xué)幫助指導(dǎo)了人類基因組計(jì)劃，我們認(rèn)為小規(guī)模的研究應(yīng)該始終著眼于如何成功地?cái)U(kuò)大規(guī)模。例如，這篇文章中報(bào)告的幾項(xiàng)研究結(jié)果已經(jīng)到了應(yīng)該進(jìn)行大規(guī)模研究的地步。我們想證明，大規(guī)模 lottery tickets也能學(xué)習(xí)空間歸納偏差，并證明他們發(fā)展局部連接的證據(jù)。我們還想嘗試在更大的模型上學(xué)習(xí)一個(gè)激活函數(shù)，希望找到一個(gè)在通用性上優(yōu)于ReLU和Swish的激活函數(shù)。
我們應(yīng)該強(qiáng)調(diào)的是，我們現(xiàn)在只是準(zhǔn)備在受控環(huán)境下隔離和理解這些結(jié)果，然后再進(jìn)行擴(kuò)展。我們認(rèn)為，只有在相關(guān)的因果機(jī)制被分離和理解之后，擴(kuò)大系統(tǒng)的規(guī)模才是一個(gè)好主意。
這項(xiàng)工作的核心靈感來自于對(duì)MNIST數(shù)據(jù)集的崇拜和迷戀。雖然它有一些明顯的缺陷--我們已經(jīng)解決了其中的一些問題--但它也有許多討人喜歡的品質(zhì)和被低估的優(yōu)點(diǎn)：它簡單、直觀，為探索創(chuàng)造性的新想法提供了完美的沙盤。
我們的工作也與Rawal等人（2020）的Synthetic Petri Dish在哲學(xué)上有相似之處。它與我們這項(xiàng)工作是同時(shí)發(fā)表的，作者對(duì)生物學(xué)進(jìn)行了類似的引用，以激勵(lì)使用小型合成數(shù)據(jù)集進(jìn)行探索性研究。他們的工作與我們的不同之處在于，他們使用元學(xué)習(xí)來獲得他們的數(shù)據(jù)集，而我們的數(shù)據(jù)集是由人工構(gòu)建的。Synthetic Petri Dish的目的是加速神經(jīng)架構(gòu)搜索，而我們的數(shù)據(jù)集的目的是加速 "深度學(xué)習(xí)的科學(xué) "問題。
還有很多其他小規(guī)模的數(shù)據(jù)集，通常用于研究 "深度學(xué)習(xí)的科學(xué) "問題。CIFAR-10數(shù)據(jù)集中的樣本數(shù)是MNIST的4倍，但訓(xùn)練樣本的總數(shù)量是一樣的。CIFAR-10在區(qū)分MLP和CNN架構(gòu)，以及各種CNN架構(gòu)（如vanilla CNNs與ResNets）方面做得更好。FashionMNIST數(shù)據(jù)集與MNIST大小相同，但（區(qū)分）難度會(huì)更大一些。最后一個(gè)選擇是Scikit-learn的數(shù)據(jù)集：有幾十個(gè)選擇，有些是人工合成的，有些是真實(shí)的。但要把真實(shí)世界類比到比如說數(shù)字分類，是不可能的，人們往往可以用簡單的線性或基于內(nèi)核的方法在這些數(shù)據(jù)集上做得很好。
為了探索神經(jīng)網(wǎng)絡(luò)規(guī)模的極限，有一種違反直覺的可能性是，為了探索神經(jīng)網(wǎng)絡(luò)的規(guī)模有多大的極限，我們可能首先需要探索神經(jīng)網(wǎng)絡(luò)的規(guī)模到底有多小的極限。以保留其行為在規(guī)模上的細(xì)微差別來縮放模型大小和數(shù)據(jù)集，會(huì)使研究人員能夠快速迭代基礎(chǔ)和創(chuàng)新的想法。這種快速迭代周期是獲得關(guān)于如何將逐漸復(fù)雜的歸納偏差納入我們的模型的見解的最佳方式。然后，我們可以跨空間尺度遷移這些歸納偏差，以顯著提高大規(guī)模模型的采樣效率和泛化特性。我們認(rèn)為不怎么起眼的MNIST-1D數(shù)據(jù)集是朝著這個(gè)方向邁出的第一步。
Trunk, Gerard V. “A problem of dimensionality: A simple example.” IEEE Transactions on pattern analysis and machine intelligence 3 (1979): 306-307. ?
Belkin, Mikhail, et al. “Reconciling modern machine-learning practice and the classical bias–variance trade-off.” Proceedings of the National Academy of Sciences 116.32 (2019): 15849-15854. ?
Spigler, Stefano, et al. “A jamming transition from under-to over-parametrization affects loss landscape and generalization.” arXiv preprint arXiv:1810.09665 (2018). ?
Nakkiran, Preetum, et al. “Deep double descent: Where bigger models and more data hurt.” arXiv preprint arXiv:1912.02292 (2019). ?
Clevert, Djork-Arné, Thomas Unterthiner, and Sepp Hochreiter. Fast and accurate deep network learning by exponential linear units (elus). ICLR 2016. ?
Ramachandran, Prajit, Barret Zoph, and Quoc V. Le. Searching for activation functions. (2017). ?
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
