0
雷鋒網(wǎng) AI 科技評(píng)論按：今天，谷歌的 Dropout 專利生效這一消息突然在圈內(nèi)傳開，而生效日期就在 6 月 25 日，有效期 15 年。三年前，谷歌就給 Dropout 申請(qǐng)了專利，但因?yàn)榇伺e引發(fā)了業(yè)界眾多異議，最最后無疾而終。只是令人沒想到時(shí)隔三年，這一專利申請(qǐng)竟然生效了。雷鋒網(wǎng) AI 科技評(píng)論將這一事件整理報(bào)道如下。
但凡是接觸過機(jī)器學(xué)習(xí)的人士，一定知道 Dropout。它是在進(jìn)行深度學(xué)習(xí)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，普遍會(huì)用到的方法，也是調(diào)參的一種手段，可以有效防止過擬合。由 Hinton 在 2012 年的論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。
而在隨后 Alex 和 Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》中，則用 Dropout 算法來防止過擬合。論文中的 AlexNet 網(wǎng)絡(luò)模型瞬間引爆神經(jīng)網(wǎng)絡(luò)應(yīng)用熱潮，并贏得了 2012 年圖像識(shí)別大賽冠軍，使得 CNN 成為圖像分類上的核心算法模型。
而 Dropout 在這里面，就起到了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的一種 trick 供選擇這一重要作用。簡(jiǎn)單來講：在前向傳播過程中，Dropout 讓某個(gè)神經(jīng)元的激活值以一定的概率 p 停止工作，通過取各種網(wǎng)絡(luò)的平均來提升模型的穩(wěn)定性，從而有效的緩解過擬合現(xiàn)象，并在一定程度上達(dá)到正則化的效果。
而且對(duì)于機(jī)器學(xué)習(xí)來說，一旦模型過擬合，那么該模型幾乎不能用。因此，這一方法在很早的時(shí)候，就被廣泛的運(yùn)用在機(jī)器學(xué)習(xí)領(lǐng)域中。
在谷歌申請(qǐng)專利的介紹中，他們把 Dropout 稱為——《解決神經(jīng)網(wǎng)絡(luò)過擬合的系統(tǒng)與方法》。我們可以在 Google Patents （https://patents.google.com/patent/US9406017B2/en）上看到這項(xiàng)技術(shù)的專利詳情頁面。
通過摘要，我們大致可以了解到關(guān)于 Dropout 的這幾點(diǎn)：
Dropout 是一個(gè)用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的系統(tǒng)；
其中網(wǎng)絡(luò)某些層上的特征檢測(cè)器都連著一個(gè)開關(guān)；
在每個(gè)訓(xùn)練場(chǎng)景下，這些開關(guān)會(huì)隨機(jī)關(guān)閉部分特征檢測(cè)器；
而這些訓(xùn)練場(chǎng)景下的權(quán)重會(huì)被歸一化，最終將神經(jīng)網(wǎng)絡(luò)應(yīng)用在測(cè)試集上。
從圖中右上角，我們可以看到該技術(shù)發(fā)明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的專利權(quán)受讓人（Current Assignee）是谷歌。
綜上所述，當(dāng) Dropout 這一普遍且通用的方法成為了專利，雖然它非常簡(jiǎn)單，但此舉就好比加法成為了個(gè)人專利，這勢(shì)必會(huì)為整個(gè)行業(yè)帶來大的擾動(dòng)。
這一方法在將來的使用中，是否存在法律風(fēng)險(xiǎn)？谷歌會(huì)對(duì)該專利作出怎樣的限制？這些限制將給學(xué)術(shù)研究與合作帶來怎樣的結(jié)果？對(duì)于國(guó)內(nèi)外的相關(guān)企業(yè)又有什么影響？......這些問題不免引起大家的關(guān)注與思考。
消息發(fā)出后，reddit 上就針對(duì)這件事進(jìn)行了熱烈的討論：
其中討論得最多的問題就是——以后我們是否還能夠自由使用 Dropout？
針對(duì)這一問題，有人認(rèn)為谷歌不會(huì)強(qiáng)制執(zhí)行專利許可，就像他們之前的「使用深度神經(jīng)網(wǎng)絡(luò)處理圖像」專利一樣，也沒有強(qiáng)制執(zhí)行；
也有人持有相反的態(tài)度，并且將關(guān)注點(diǎn)落在了企業(yè)層面，認(rèn)為這一專利申請(qǐng)，勢(shì)必會(huì)影響一大部分年輕的機(jī)器學(xué)習(xí)公司。因?yàn)楣雀杩梢詫?duì)其專利代碼被使用，隨時(shí)提出訴訟，而對(duì)公司造成消極影響；
還有持辯證態(tài)度的群眾，他總結(jié)到這個(gè)事情的影響視個(gè)人情況而定。如果你是機(jī)器學(xué)習(xí)相關(guān)的公司負(fù)責(zé)人，這件事的就會(huì)對(duì)公司利益造成損害；如果你與谷歌有利益糾紛，走法律程序前三思，因?yàn)槟愫芸赡軙?huì)被谷歌公司以專利侵權(quán)返告；但如果你是谷歌的專利律師，那恭喜，估計(jì)世界上也沒有能難到你的案件了！
知乎上，一位知友也發(fā)表了自己的看法——
還有網(wǎng)友表示我們不應(yīng)該指責(zé)谷歌，應(yīng)該指責(zé)專利制度；正如有句話所說「不要怪玩家，要怪就怪制定游戲規(guī)則的人?！共贿^，在事情還沒有任何定論之前，我們也只能持觀望態(tài)度，畢竟專利設(shè)置之初，其本意是用來鼓勵(lì)和保護(hù)發(fā)明創(chuàng)造的，從過去的一些專利申請(qǐng)來看，它確實(shí)也起到了相應(yīng)的作用，也維護(hù)了很多發(fā)明者自身的利益。
當(dāng)然，我們也希望如大部分樂觀網(wǎng)友所說，谷歌的行為只是單純?yōu)榱司S護(hù)自身利益；而 Dropout 專利申請(qǐng)生效事件，也不會(huì)為學(xué)術(shù)圈乃至整個(gè)行業(yè)帶來任何消極影響。
參考文獻(xiàn)：
《深度學(xué)習(xí)中 Dropout 原理解析》.Microstrong0305（小強(qiáng)）
https://blog.csdn.net/program_developer/article/details/80737724?utm_source=copy
雷鋒網(wǎng) AI 科技評(píng)論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
