本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

Bayesian Neural Network Series Post 2: Background Knowledge

作者 | Kumar Shridhar

翻譯 | 微白o(hù)         

校對(duì) | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚(yú)王

原文鏈接：

https://medium.com/neuralspace/bayesian-neural-network-series-post-2-background-knowledge-fdec6ac62d43

這是貝葉斯卷積網(wǎng)絡(luò)系列八篇中的第二篇文章。

如需查看第一篇文章，請(qǐng)點(diǎn)擊：貝葉斯神經(jīng)網(wǎng)絡(luò)(系列)第一篇

讓我們將貝葉斯神經(jīng)網(wǎng)絡(luò)分解成貝葉斯和神經(jīng)網(wǎng)絡(luò)來(lái)開(kāi)始。

貝葉斯推斷是概率論和統(tǒng)計(jì)學(xué)機(jī)器學(xué)習(xí)中的重要組成部分。 它是基于由著名統(tǒng)計(jì)學(xué)家托馬斯貝葉斯給出的貝葉斯定理。 在貝葉斯推斷中，隨著更多證據(jù)或信息的出現(xiàn)，假設(shè)概率得到更新。

另一方面，神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是模仿人類大腦的端到端系統(tǒng)或一組算法（不是每個(gè)人都相信，但它是基礎(chǔ)），并試圖在數(shù)據(jù)集中學(xué)習(xí)復(fù)雜的表示來(lái)輸出結(jié)果。

神經(jīng)網(wǎng)絡(luò)上已有非常好的教程。 我會(huì)試著簡(jiǎn)要介紹一下神經(jīng)網(wǎng)絡(luò)與大腦的類比，并著重解釋我們以后要研究的概率論機(jī)器學(xué)習(xí)部分。

大腦的類比

感知器是由著名心理學(xué)家羅森布拉特（Rosenblatt）設(shè)想的描述神經(jīng)元如何在我們的大腦中發(fā)揮作用的數(shù)學(xué)模型。 根據(jù)羅森布拉特的說(shuō)法，神經(jīng)元采用一組二進(jìn)制輸入（附近的神經(jīng)元），將每個(gè)輸入乘以連續(xù)值權(quán)重（每個(gè)附近神經(jīng)元的突觸強(qiáng)度），并且如果 sum足夠大，則將這些加權(quán)輸入的總和閾值輸出為1，否則為0（同理神經(jīng)元要么有效，要么無(wú)效）。

 生物激勵(lì)神經(jīng)網(wǎng)絡(luò)（源地址：http://cs231n.github.io/neural-networks-1/）

人工神經(jīng)網(wǎng)絡(luò)

受到生物神經(jīng)系統(tǒng)的啟發(fā)，人工神經(jīng)網(wǎng)絡(luò)（ANN）的結(jié)構(gòu)被設(shè)計(jì)成像人腦一樣處理信息。 大量深度互連的處理單元（神經(jīng)元）協(xié)同工作使神經(jīng)網(wǎng)絡(luò)能夠解決復(fù)雜的問(wèn)題。 就像人類通過(guò)實(shí)例學(xué)習(xí)一樣，神經(jīng)網(wǎng)絡(luò)也是如此。 在生物系統(tǒng)中學(xué)習(xí)涉及對(duì)突觸連接的調(diào)整，其類似于神經(jīng)網(wǎng)絡(luò)中的權(quán)重更新。

神經(jīng)網(wǎng)絡(luò)由三層組成：輸入層為模型提供數(shù)據(jù)，隱藏層學(xué)習(xí)如何表示，輸出層輸出結(jié)果或預(yù)測(cè)。 神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是一種端到端的系統(tǒng)，其可以在非常復(fù)雜的、不能由人教給機(jī)器的數(shù)據(jù)中找到一種特有的模式。

兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)

休伯爾（Hubel）和威塞爾（Wiesel）在他們的層次模型中提到了一個(gè)神經(jīng)網(wǎng)絡(luò)，它在視覺(jué)皮層中有一個(gè)層次結(jié)構(gòu)。 LGB（外側(cè)膝狀體）組成簡(jiǎn)單細(xì)胞，然后組成復(fù)雜細(xì)胞，繼而形成低級(jí)超復(fù)合細(xì)胞，最終形成高級(jí)超復(fù)合細(xì)胞。

此外，低階超復(fù)雜細(xì)胞和高階超復(fù)雜細(xì)胞之間的網(wǎng)絡(luò)在結(jié)構(gòu)上類似于簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞之間的網(wǎng)絡(luò)。 在該層次結(jié)構(gòu)中，較高級(jí)的細(xì)胞通常傾向于選擇性地響應(yīng)激勵(lì)模式的更復(fù)雜的特征，低級(jí)細(xì)胞則傾向于簡(jiǎn)單特征。還有，較高階段的細(xì)胞具有較大的感受野，并且對(duì)激勵(lì)模式的位置變化不敏感。

與層次模型類似，神經(jīng)網(wǎng)絡(luò)起始層學(xué)習(xí)較簡(jiǎn)單的特征，如邊緣，后續(xù)的神經(jīng)層學(xué)習(xí)復(fù)雜的特征，如顏色，紋理等。此外，較高級(jí)的神經(jīng)元具有較大的感受野，其構(gòu)建在初始層上。然而，與多層感知器不同，其中來(lái)自同一層的所有神經(jīng)元與下一層中的所有神經(jīng)元連接，權(quán)重共享是卷積神經(jīng)網(wǎng)絡(luò)最主要的部分。示例：不像之前的做法，對(duì)于輸入圖像的每個(gè)像素（權(quán)重是28x 28），每個(gè)神經(jīng)元都有不同的權(quán)重?，F(xiàn)在神經(jīng)元只有一個(gè)小的權(quán)重集（5 * 5），其應(yīng)用于一大堆小的、相同大小的圖像的子集中。第一層后的神經(jīng)層都是以相似的方式工作，采用在之前隱藏層中找到的“局部”特征，而不是像素圖像。并且連續(xù)地看到圖像的較大部分，因?yàn)樗鼈兘M合了關(guān)于圖像的越來(lái)越多的子集信息。最后，最后一層對(duì)輸出集進(jìn)行了正確的預(yù)測(cè)。

如果數(shù)學(xué)上還不清楚的話，那么很顯然上面的解釋非常有用：如果沒(méi)有這樣的約束，神經(jīng)網(wǎng)絡(luò)將必須為圖像的每個(gè)部分消耗大量時(shí)間學(xué)習(xí)完全相同的簡(jiǎn)單事物（例如檢測(cè)邊緣，角落等）。 但是由于存在約束，只有一個(gè)神經(jīng)元需要學(xué)習(xí)每個(gè)簡(jiǎn)單的特征，并且總體上權(quán)重要少得多，它可以做得非?？?！ 此外，由于這些特征的位置（精確到像素）無(wú)關(guān)緊要，神經(jīng)元基本上可以跳過(guò)圖像的相鄰子集———即子采樣，現(xiàn)在稱為池化類型———當(dāng)應(yīng)用權(quán)重時(shí)，進(jìn)一步減少了訓(xùn)練時(shí)間。 增加這兩種類型的層——— 卷積層和池化層，是卷積神經(jīng)網(wǎng)絡(luò)（CNN / ConvNets）與普通舊的神經(jīng)網(wǎng)絡(luò)的主要區(qū)別。

為了簡(jiǎn)要敘述機(jī)器學(xué)習(xí)的概率論方法，我們把它分成概率論和機(jī)器學(xué)習(xí)分別討論。

機(jī)器學(xué)習(xí)只是開(kāi)發(fā)一些算法，在給定某些數(shù)據(jù)的情況下執(zhí)行某些任務(wù)。 它包括從非結(jié)構(gòu)化數(shù)據(jù)中查找模式來(lái)對(duì)電子郵件分類，從語(yǔ)言理解到自動(dòng)駕駛汽車。 基于觀察到的數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)方法進(jìn)行一些推斷。 訓(xùn)練模型從觀察到的數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）中學(xué)習(xí)一些模式和假設(shè)，并對(duì)未觀察到的數(shù)據(jù)（測(cè)試數(shù)據(jù)）進(jìn)行推斷。由于每個(gè)推理都帶有預(yù)測(cè)置信度，因此得出結(jié)論。 然而，由于多種原因，模型的預(yù)測(cè)可能不準(zhǔn)確：輸入噪聲，噪聲靈敏度，測(cè)量誤差，非最佳超參數(shù)設(shè)置等。

機(jī)器學(xué)習(xí)中的概率模型表明，所有形式的不確定性都不是真正結(jié)果，而更像是概率，因此我們可以用概率論的知識(shí)來(lái)回答所有問(wèn)題。 概率分布用于模擬學(xué)習(xí)，不確定性和未觀察到的狀態(tài)。 在觀察數(shù)據(jù)之前定義先驗(yàn)概率分布，一旦觀察到數(shù)據(jù)就開(kāi)始學(xué)習(xí)，并且數(shù)據(jù)分布變?yōu)楹篁?yàn)分布。 貝葉斯學(xué)習(xí)的基礎(chǔ)就是用概率論的知識(shí)從數(shù)據(jù)中學(xué)習(xí)。

不確定性在貝葉斯學(xué)習(xí)中起著重要作用，來(lái)仔細(xì)研究不確定性的類型：

貝葉斯學(xué)習(xí)方法中的不確定性

（神經(jīng)）網(wǎng)絡(luò)中的不確定性是衡量模型預(yù)測(cè)的準(zhǔn)確程度的指標(biāo)。 在貝葉斯模型中，存在兩種主要的不確定性類型：偶然不確定性和認(rèn)知不確定性。

偶然不確定性衡量了觀測(cè)中固有的噪聲。 這種類型的不確定性存在于數(shù)據(jù)收集方法中，比如伴隨數(shù)據(jù)集的均勻的傳感器噪聲或運(yùn)動(dòng)噪聲。 即使收集更多數(shù)據(jù)，也不能減少不確定性。

認(rèn)知不確定性是模型本身造成的不確定性。 給定更多數(shù)據(jù)可以減少這種不確定性，并且通常稱為模型不確定性。偶然不確定性可以進(jìn)一步分為同方差不確定性，不同輸入下不變的不確定性，以及取決于模型輸入的異方差不確定性，其中一些輸入可能具有比其他輸入更多的噪聲輸出。 異方差的不確定性尤為重要，它可以防止模型的輸出過(guò)于優(yōu)化。

可以通過(guò)在模型參數(shù)或模型輸出上加入概率分布來(lái)估計(jì)不確定性。 通過(guò)在模型的權(quán)重上加入先驗(yàn)分布，然后嘗試捕獲這些權(quán)重在給定數(shù)據(jù)的情況下變化多少來(lái)對(duì)認(rèn)知不確定性建模。 另一方面，偶然不確定性，是通過(guò)在模型的輸出上加入分布來(lái)建模的。

現(xiàn)在，我們對(duì)概率機(jī)器學(xué)習(xí)基礎(chǔ)，貝葉斯學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)有了一個(gè)很好的認(rèn)識(shí)。 將貝葉斯方法和神經(jīng)網(wǎng)絡(luò)結(jié)合看起來(lái)是一個(gè)不錯(cuò)的想法，但在實(shí)踐中，訓(xùn)練貝葉斯神經(jīng)網(wǎng)絡(luò)是很難的。 訓(xùn)練神經(jīng)網(wǎng)絡(luò)最流行的方法是反向傳播，我們用它來(lái)訓(xùn)練貝葉斯神經(jīng)網(wǎng)絡(luò)。 我們來(lái)詳細(xì)介紹一下這些方法。

   反向傳播

魯姆哈特在1986年提出了神經(jīng)網(wǎng)絡(luò)中的反向傳播，它是訓(xùn)練神經(jīng)網(wǎng)絡(luò)最常用的方法。 反向傳播是一種根據(jù)網(wǎng)絡(luò)權(quán)重計(jì)算梯度下降的技術(shù)。 它分兩個(gè)階段運(yùn)行：首先，輸入特征通過(guò)網(wǎng)絡(luò)的正向傳播，以計(jì)算函數(shù)輸出，從而計(jì)算與參數(shù)相關(guān)的損失。 其次，訓(xùn)練損失對(duì)權(quán)重的導(dǎo)數(shù)從輸出層傳回輸入層。這些已計(jì)算的導(dǎo)數(shù)還用于更新網(wǎng)絡(luò)的權(quán)重。 這是一個(gè)連續(xù)的過(guò)程，權(quán)重在每次迭代中不斷更新。

盡管反向傳播很受歡迎，但是在基于反向傳播的隨機(jī)優(yōu)化中存在許多超參數(shù)，其需要特定的調(diào)整，例如學(xué)習(xí)率，動(dòng)量，權(quán)重衰減等。找到最優(yōu)值所需的時(shí)間與數(shù)據(jù)大小成比例。 對(duì)于使用反向傳播訓(xùn)練的網(wǎng)絡(luò)，僅在網(wǎng)絡(luò)中實(shí)現(xiàn)權(quán)重的點(diǎn)估計(jì)。 結(jié)果，這些網(wǎng)絡(luò)得出了過(guò)度的預(yù)測(cè)結(jié)果，并沒(méi)有考慮參數(shù)的不確定性。 缺乏不確定性方法會(huì)使（神經(jīng)）網(wǎng)絡(luò)過(guò)擬合并需要正則化。

神經(jīng)網(wǎng)絡(luò)的貝葉斯方法提供了反向傳播方法的缺點(diǎn)，貝葉斯方法自然地解釋了參數(shù)估計(jì)中的不確定性，并且可以將這種不確定性加入到預(yù)測(cè)中。

此外，對(duì)參數(shù)值取均值而不是僅選擇單點(diǎn)估計(jì)值使得模型對(duì)過(guò)擬合具有魯棒性。

過(guò)去已經(jīng)提出了幾種用于貝葉斯神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法：拉普拉斯近似，MC丟失和變分推理。 我們使用反向傳播的貝葉斯來(lái)完成的工作，接下來(lái)進(jìn)行說(shuō)明。

反向傳播的貝葉斯

貝葉斯反向傳播算法石油Blundell等人提出的，用于學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)權(quán)重的概率分布。 整個(gè)方法可歸納如下：

該方法不是訓(xùn)練單個(gè)網(wǎng)絡(luò)，而是訓(xùn)練網(wǎng)絡(luò)集合，其中每個(gè)網(wǎng)絡(luò)的權(quán)重來(lái)自共享的學(xué)習(xí)概率分布。 與其他集合方法不同，該方法通常僅使參數(shù)的數(shù)量加倍，然后使用無(wú)偏的蒙特卡羅梯度估計(jì)來(lái)訓(xùn)練無(wú)窮集合。

通常，對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)重的精確貝葉斯推斷是難以處理的，因?yàn)閰?shù)的數(shù)量非常大，并且神經(jīng)網(wǎng)絡(luò)的函數(shù)形式不適合精確積分。 相反，我們采用變分近似而不是蒙特卡羅方法來(lái)找到似然貝葉斯后驗(yàn)分布。

好了，至此我們已經(jīng)說(shuō)通了。 那再深入一點(diǎn)，因?yàn)檫@個(gè)方法構(gòu)成了我們方法的基礎(chǔ)，將在后面的博客中進(jìn)行解釋。 我們首先需要理解為什么分布變得難以處理以及需要近似它。 讓我們從貝葉斯定理開(kāi)始：

 貝葉斯定理

如上所述，根據(jù)貝葉斯定理，我們?cè)噲D在給定一些數(shù)據(jù)x的情況下找到模型參數(shù)θ的概率。 這被稱為后驗(yàn)，我們想計(jì)算它。 現(xiàn)在分子的P（θ）是我們的先驗(yàn)（在看到數(shù)據(jù)之前的估計(jì)）和P（x |θ）這是可能性并且顯示數(shù)據(jù)分布。 這兩個(gè)值都很容易計(jì)算。 分母P（x）是證據(jù)，它顯示數(shù)據(jù)x是否是從模型生成的。 現(xiàn)在，事情有點(diǎn)棘手了， 我們只能通過(guò)整合所有可能的模型值來(lái)計(jì)算：

可見(jiàn)，這個(gè)積分使得整個(gè)過(guò)程難以處理，解決它的唯一方法是近似它。 因此，我們將使用變分推理來(lái)近似函數(shù)形式。

還有其他方法可用于近似積分，而流行的方法是馬爾可夫鏈蒙特卡羅和蒙特卡洛丟棄法。

變分推論

假設(shè)我們有所有的密度函數(shù)，并且想估計(jì)它。 我們首先選擇一個(gè)分布（可以是高斯分布，因?yàn)樗畛Ｓ茫恢毙薷牡椒浅＝咏覀兿胍暮瘮?shù)，即后驗(yàn)概率。 我們希望盡可能接近真正的分布，其是難以直接處理的，我們可以通過(guò)最小化兩者之間的相對(duì)熵來(lái)完成。

因此，我們有一個(gè)函數(shù)P(w|D)（上面得到的后驗(yàn)概率），我們想用另一個(gè)分布q(w|D)用一些變分參數(shù)θ來(lái)近似它。

注意到此處的符號(hào)已更改，以使其與費(fèi)利克斯 · 勞曼伯格概率深度學(xué)習(xí)保持一致：反向傳播的貝葉斯理論可以很好地解釋它。

相對(duì)熵使問(wèn)題成為優(yōu)化問(wèn)題，并可以最小化為：

一張圖很好地展示如何近似難處理的后驗(yàn)概率

來(lái)源：https://medium.com/neuralspace/probabilistic-deep-learning-bayes-by-backprop-c4a3de0d9743

但這不是結(jié)束。 如果我們解決相對(duì)熵，由于存在積分函數(shù)，又出現(xiàn)了一個(gè)難以處理的方程：

 源地址：https://arxiv.org/abs/1806.05978

現(xiàn)在我們已經(jīng)無(wú)法近似一個(gè)近似函數(shù)了。 因此，我們可以從近似函數(shù)q(w|D)中進(jìn)行采樣，因?yàn)閺慕坪瘮?shù)q(w|D)中采樣權(quán)重要比難處理的真后驗(yàn)函數(shù)p（w | D）容易。 在這樣做時(shí)，我們得到如下所述的易處理函數(shù)：

這些采樣權(quán)重w，被用在神經(jīng)網(wǎng)絡(luò)的反向傳播中去學(xué)習(xí)后驗(yàn)分布。

現(xiàn)在，正如我們所看到的，可以通過(guò)反向傳播方法訓(xùn)練貝葉斯神經(jīng)網(wǎng)絡(luò)，并且貝葉斯神經(jīng)網(wǎng)絡(luò)能自動(dòng)合并正則化。 我們將在接下來(lái)的博客中學(xué)習(xí)使用變分推理方法的貝葉斯卷積神經(jīng)網(wǎng)絡(luò)。 我們?cè)诰矸e中使用兩個(gè)操作（更多細(xì)節(jié)在即將發(fā)布的博客中或在此處閱讀），因此與基于CNN的點(diǎn)估計(jì)相比，貝葉斯卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量翻倍。 因此，為了減少網(wǎng)絡(luò)參數(shù)，我們精簡(jiǎn)了神經(jīng)網(wǎng)絡(luò)架構(gòu)，讓我們看看它是如何完成的。

   反模型權(quán)重剪枝

模型剪枝減少了深度神經(jīng)網(wǎng)絡(luò)中各種連接矩陣的稀疏性，從而減少了模型中有價(jià)值的參數(shù)的數(shù)量。模型剪枝的整個(gè)想法是減少參數(shù)的數(shù)量而不會(huì)損失模型的準(zhǔn)確性。 這減少了使用正則化的大型參數(shù)化模型的使用，并促進(jìn)了密集連接的較小模型的使用。 最近的一些工作表明，網(wǎng)絡(luò)可以實(shí)現(xiàn)模型尺寸的大幅減少，同時(shí)精度也相差無(wú)幾。模型剪枝在降低計(jì)算成本，推理時(shí)間和能量效率方面具有幾個(gè)優(yōu)點(diǎn)。 得到的剪枝模型通常具有稀疏連接矩陣。 使用這些稀疏模型的有效推斷需要有能加載稀疏矩陣并且/或者執(zhí)行稀疏矩陣向量運(yùn)算的專用硬件。 但是，使用新的剪枝模型可以減少總體內(nèi)存使用量。

有幾種方法可以實(shí)現(xiàn)剪枝模型，最常用的方法是將低貢獻(xiàn)權(quán)重映射到零并減少整體非零值權(quán)重的數(shù)量。 這可以通過(guò)訓(xùn)練大型稀疏模型并進(jìn)一步修剪來(lái)實(shí)現(xiàn)，這使其與訓(xùn)練小型密集模型相當(dāng)。

通過(guò)應(yīng)用L_0（L-zero）范數(shù)可以形式化為大多數(shù)特征賦予權(quán)重零和僅向重要特征分配非零權(quán)重，因?yàn)樗鼘?duì)所有非零權(quán)重應(yīng)用恒定懲罰。L_0范數(shù)可以被認(rèn)為是特征選擇器范數(shù)，其僅將非零值分配給重要的特征。 然而，L_0范數(shù)是非凸的，因此，不可微分使得它成為NP-hard問(wèn)題并且只能在P = NP時(shí)有效地求解。L_0范數(shù)的替代是L_1范數(shù)，其等于絕對(duì)權(quán)重值的總和。 L_1范數(shù)是凸的，因此是可微分的，可以用作L_0范數(shù)的近似值。 L_1范數(shù)通過(guò)令大量系數(shù)等于零而充當(dāng)稀疏促進(jìn)正則化器，是一個(gè)很好的特征選擇器。

這篇博客只是為了提供以后的博客中使用的術(shù)語(yǔ)和概念的背景知識(shí)，如果我遺漏了什么，請(qǐng)告訴我。

如果您想提前閱讀，請(qǐng)查看論文工作或論文。

PyTorch中的實(shí)現(xiàn)點(diǎn)擊閱讀原文可獲得。

如需查看第一篇文章，請(qǐng)點(diǎn)擊：貝葉斯神經(jīng)網(wǎng)絡(luò)(系列)第一篇

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【貝葉斯神經(jīng)網(wǎng)絡(luò)（系列）：第二篇】或長(zhǎng)按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1466

AI研習(xí)社今日推薦：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

卡耐基梅隆大學(xué) 2019 春季《神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理》是CMU語(yǔ)言技術(shù)學(xué)院和計(jì)算機(jī)學(xué)院聯(lián)合開(kāi)課，主要內(nèi)容是教學(xué)生如何用神經(jīng)網(wǎng)絡(luò)做自然語(yǔ)言處理。神經(jīng)網(wǎng)絡(luò)對(duì)于語(yǔ)言建模任務(wù)而言，可以稱得上是提供了一種強(qiáng)大的新工具，與此同時(shí)，神經(jīng)網(wǎng)絡(luò)能夠改進(jìn)諸多任務(wù)中的最新技術(shù)，將過(guò)去不容易解決的問(wèn)題變得輕松簡(jiǎn)單。

加入小組免費(fèi)觀看視頻：https://ai.yanxishe.com/page/groupDetail/33