0
本文作者: 黃善清 | 2019-03-12 14:07 |
雷鋒網(wǎng) AI 科技評論按:Facebook AI 昨日推薦了一款能夠比當(dāng)前 state-of-the-art 程序更快識別應(yīng)用安全水平的最新技術(shù)。過去我們從計算機(jī)視覺、強(qiáng)化學(xué)習(xí)以及語音識別等領(lǐng)域發(fā)掘了深度學(xué)習(xí)的巨大潛力,然而對于一些安全性要求較高的應(yīng)用(如自動駕駛)來說,在模型得到有效驗證以前,并無法真正受惠。Facebook提供的新方法適用于深度學(xué)習(xí),能夠?qū)o法確定輸出結(jié)果的輸入內(nèi)容進(jìn)行有效驗證,從而杜絕不當(dāng)決策的產(chǎn)生。雷鋒網(wǎng) AI 科技評論將該開源文章編譯如下。
在具體操作上,我們先利用分段線性(這里使用的是 ReLU )激活的結(jié)構(gòu)來構(gòu)建一組可能輸出的 convex overapproximation 。該 overapproximation 可通過線性編程(LP)求解器獲得,且能讓我們迅速判斷輸出是否所需。為了避免操作趨于保守,我們會將輸入集重復(fù)劃分為更小的子集以及對應(yīng)較小的 convex overapproximations ,從而細(xì)化 overapproximation。
對于這種“劃分-處理”類型的操作程序,輸入集分區(qū)的生成方式選擇將對驗證問題的時間長短產(chǎn)生重大的影響。現(xiàn)有的技術(shù)主要通過遞歸的方式將輸入集劃分為較小的子集,以確認(rèn)一組輸入的安全性。而我們的技術(shù)則使用 LP 的最優(yōu)原和雙變量(在 convex overapproximation 過程中生成)來計算靈敏度的度量(所謂的影子價格),因此得以估計新的分區(qū)將如何影響隨后的overapproximations,從而減少分裂的數(shù)量。最后的結(jié)果是,我們擁有一個能以快速且資源有效方式來驗證深度神經(jīng)網(wǎng)絡(luò)的算法,有效減少了計算所需的時間。
通過更有效的算法將輸入集劃分為更小的子集。 在這種情況下,來自初始集的輸入不會產(chǎn)生歸屬危險集的輸出(由感嘆號表示)。
總的來說,該結(jié)果為我們當(dāng)下各種機(jī)器學(xué)習(xí)應(yīng)用(包括視覺與控制)的驗證方法改進(jìn)提供了一條全新思路。如何高效、可靠地對深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)行為進(jìn)行驗證,是將這些技術(shù)集成到對安全要求較高的領(lǐng)域的重要一步。我們的未來工作將集中在如何將驗證能力擴(kuò)展至更常見的神經(jīng)網(wǎng)絡(luò)以及具備任意拓?fù)涞妮斎爰?/p>
論文鏈接:
via https://ai.facebook.com/blog/faster-more-efficient-neural-network-verification/
雷鋒網(wǎng) AI 科技評論
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。