雷鋒網 AI 科技評論按：神經信息處理系統(tǒng)大會（NeurIPS）是人工智能領域最知名的學術會議之一，NeurIPS 2018 已于去年 12 月 3 日至 8 日在加拿大蒙特利爾市舉辦。來自 Zighra.com 的首席數(shù)據科學家在參加完此次會議之后，撰寫了一篇關于貝葉斯研究的參會總結，雷鋒網 AI 科技評論編譯整理如下。

此次會議支持現(xiàn)場直播，所有講座的視頻內容均可以在 NeurIPS 的 Facebook 主頁上找到，除此之外，NeurIPS 主頁上還有一些非常有趣的主題演講，其中最吸引我的是 Micheal Levin 教授講的神經系統(tǒng)外的生物電計算、原始認知和綜合形態(tài)學。其他值得關注還有，Joelle Pineau 教授演講主題：可重復，可重用和可強化的強化學習，David Spiegelhalter 演講主題：使算法值得信賴，以及 Kunle Olukotun 演講主題：為軟件 2.0 版本設計的計算機系統(tǒng)。還有一個非常有趣的研討會，主要討論機器學習在物理學領域的分子和材料中的應用。

我關注 NeurIPS2018 主要是為了解貝葉斯推斷的最新研究動態(tài)及其在機器學習和人工智能領域中的應用。正如預期的那樣，在為期 6 天的會議中，貝葉斯研究相關論文多達 70 多篇。David Dunson 教授關于可擴展貝葉斯推斷的導讀非常有用。本教程概述了使用貝葉斯統(tǒng)計方法分析海量數(shù)據集的最新方法。Dunson 教授討論了擴展常用馬爾可夫鏈蒙特卡羅（MCMC）算法的簡單方法，例如：高速并行（EP）MCMC，近似 MCMC，隨機近似，混合優(yōu)化和采樣以及模塊化。這些方法在計算廣告學，基因組學和神經科學等領域均有應用。

還有兩個與貝葉斯推斷相關的研討會。一個是貝葉斯深度學習，另一個是非參數(shù)化貝葉斯推斷，目前都是非?；钴S的研究領域。

口頭報告和展板涵蓋了貝葉斯推斷的幾個方面，包括理論進步和其在機器學習中的應用。涵蓋的主題包括貝葉斯深度學習，貝葉斯強化學習，貝葉斯優(yōu)化，變分推斷，變分自動編碼器，馬爾可夫鏈蒙特卡羅（MCMC）方法，表示學習或元學習，認知科學，差分隱私，近似貝葉斯方法和貝葉斯網絡。這一系列主題展示了貝葉斯方法在機器學習和人工智能中的重要性。

我將在這里總結一些我發(fā)現(xiàn)有趣的演講/展板，完整的演講/展板清單可以在 NeurIPS2018 會議論文頁面找到。

基于貝葉斯優(yōu)化和最優(yōu)傳輸?shù)纳窠浖軜嬎阉?/span>

在這項工作中，作者開發(fā)了 NASBOT，這是一種基于高斯過程的貝葉斯優(yōu)化框架，用于神經架構搜索。作者在神經網絡架構的空間中提出了一個距離度量，可以通過最優(yōu)的傳輸程序進行有效計算。

通過貝葉斯網絡結構學習構建深度神經網絡

本文作者介紹了深度神經網絡無監(jiān)督結構學習的原理。他們提出了深度和層間連接的新解釋，其中輸入分布中的條件獨立性在網絡結構中被分層編碼，這樣可以固有地確定網絡的深度。該方法將神經網絡結構學習問題隱射為貝葉斯網絡結構學習的問題。

深度學習的解釋模型——一種非參數(shù)化的貝葉斯方法

在這項工作中，作者提出了一種新的技術方法，它增加了具有多個彈性網的貝葉斯非參數(shù)回歸混合模型。使用增強混合模型，可以通過全局近似提取目標模型的泛化理解。

貝葉斯對抗學習

深度神經網絡容易受到對抗性攻擊，標準的防御性方法是將其作為一個強大的優(yōu)化問題。本文則是最小化了從對抗數(shù)據生成分布中生成的最壞情況損失的點估計。這項工作提出了一種新的強大的訓練框架，稱為貝葉斯魯棒學習，其中對對抗性數(shù)據生成分布進行分配，以解釋對抗性數(shù)據生成過程的不確定性。

貝葉斯分布隨機梯度下降

這項工作討論了一種用于在并行集群上訓練深度神經網絡的高吞吐量算法。該算法在生成模型中使用平攤推理，以計算群集的特定方式執(zhí)行小批量梯度計算時間的聯(lián)合后驗預測推斷。特別地是，該算法在基于梯度的同步優(yōu)化中，通過選擇一個最優(yōu)的中斷（cutoff）來緩解算法中的掉隊問題。

貝葉斯模型不可知元學習

在本文中，作者提出了一種新的貝葉斯模型不可知元學習方法，用于從小數(shù)據集中學習。該方法將原有的基于梯度的元學習與非參數(shù)變分推斷結合在一個有原則的概率框架中。

平均美及其環(huán)境調節(jié)：貝葉斯統(tǒng)計賬戶

了解人類如何感知高維物體（如面部）的美感是認知科學和 AI / ML 中的一個重要問題。從心理學文獻中可知，人類對面部吸引力的評估是依賴于環(huán)境的。在本文中，作者假設，當一個對象的編碼成本較低時，特別是當其感知的統(tǒng)計典型性較高時，人類對一個對象的喜好會增加，這與 Barlow 的開創(chuàng)性的編碼假設一致。

來自演示的時間任務規(guī)范的貝葉斯推斷

當觀察任務演示時，人類學徒能夠先于獲得實際執(zhí)行該任務的專業(yè)知識之前就能知道給定任務是否正確執(zhí)行。作者提出了貝葉斯指數(shù)推斷，這是一種推斷任務規(guī)范作為時間邏輯公式的概率模型。作者將概率編程的方法與獨立于領域的似然函數(shù)結合起來，以定義它們的先驗，從而支持基于采樣的推斷。

通過鞍點進行預測近似貝葉斯計算

當似然函數(shù)難以處理時，近似貝葉斯計算（ABC）是貝葉斯推理的一種重要方法。在本文中，作者介紹了一種基于優(yōu)化的 ABC 框架，該框架解決了現(xiàn)有方法的不足。利用生成模型進行后驗和聯(lián)合分布匹配，作者表明，ABC 可以被定義為鞍點問題，其目標可以直接用樣本訪問。

多專家強化學習：貝葉斯模型組合方法

在本文中，作者將貝葉斯模型與多個專家相組合，使其學習如何在訓練過程中信任優(yōu)秀的專家組合。

變分貝葉斯蒙特卡羅

許多在科學計算和機器學習中大熱的概率模型是很棘手的，需要求梯度或大量似然估計。作者在這里介紹了一種新的樣本推斷框架，即變分貝葉斯蒙特卡羅（VBMC）。 VBMC 將變分推斷與基于高斯過程的主動采樣貝葉斯積分相結合，使用后者有效地近似變分目標中的難以求得的積分。

深度高斯過程的隨機梯度哈密頓蒙特卡羅推斷

深度高斯過程（DGP）是高斯過程的分層推廣，其將良好校準的不確定性估計與多層模型的高靈敏度相結合。這些模型面臨的最大挑戰(zhàn)之一是精確推斷是很難處理的。在這項工作中，作者提供了后驗的非高斯性質的證據，并且他們應用隨機梯度哈密頓蒙特卡羅方法從后驗分布生成樣本。

算法保證：使用貝葉斯優(yōu)化進行算法測試的主動方法

在這項工作中，作者引入了算法保證，即測試機器學習算法是否符合其預期設計目標的問題。作者在數(shù)學上將此任務表述為昂貴的黑盒函數(shù)的優(yōu)化問題。他們使用基于貝葉斯優(yōu)化的主動學習方法來解決這個優(yōu)化問題。

用易處理變分推斷的離散松弛連續(xù)變量

作者探討了貝葉斯變分推斷的一個新的研究方向，即離散潛變量先驗，他們利用 Kronecker 矩陣代數(shù)進行對數(shù)似然（證據）下界（ELBO）的高效精確計算。這導致后驗樣本由稀疏和低精度量化整數(shù)組成，其允許在硬件受限設備上快速推斷。

Wasserstein 變分推斷

本文介紹了 Wasserstein 變分推理，一種基于最優(yōu)傳輸理論的近似貝葉斯推理的新形式。Wasserstein 變分推理使用一個新的分歧，包括 f-散度和 Wasserstein 距離作為特殊情況。該技術產生非常穩(wěn)定的訓練方法，可以與隱式分布和概率程序一起使用。

在變分自動編碼器中學習潛在子空間

通常很難解釋使用變分自動編碼器（VAE）學習的潛在空間表示。作者提出了一種基于 VAE 的生成模型，它能夠提取與數(shù)據中二進制標簽相關的特征，并在容易表示的潛在子空間中構造它。

用于分子設計的約束圖變分自動編碼器

在強調化學應用的同時，作者探索了學習生成符合訓練數(shù)據中觀察到的分布的圖的任務。他們提出了一種變分自動編碼器模型，其中編碼器和解碼器都是圖結構的。他們表明，通過使用潛在空間的大致形狀，該模型可以設計在所需特性（局部）中最佳的分子。

我可能在這里省略了在 NeurIPS2018 上提出的關于貝葉斯推斷的其他幾項重要工作。這在一定程度上是因為我的個人選擇，而且我可能也沒有在會議上提交的數(shù)百篇論文和展板中注意到它們。建議讀者通過 NeurIPS2018 會議論文搜索其他有趣的論文。

總之，在 NeurIPS2018 上提出的關于貝葉斯推斷的工作清單顯示了該主題在機器學習和人工智能時代的相關性。去年，貝葉斯推斷在后驗密度估計的更好算法方面取得了一些重要進展，并在從深度學習模型的解釋到新分子設計等問題上得到了應用。

via：https://medium.com/datadriveninvestor/bayesian-research-in-neurips2018-319cdbca71e9

雷鋒網雷鋒網

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。