雷鋒網(wǎng) AI 科技評(píng)論按：2 月 2 日至 2 月 7 日，AAAI 2018 將在美國新奧爾良舉行，雷鋒網(wǎng)AI 科技評(píng)論也將到現(xiàn)場進(jìn)行一線報(bào)道。

在本次大會(huì)上，騰訊 AI Lab 有 11 篇論文被錄用，論文錄用名單及摘要解讀如下：

1  學(xué)習(xí)用于圖像描述的引導(dǎo)解碼（Learning to Guide Decoding for Image Captioning）

圖像描述領(lǐng)域近來取得了很多進(jìn)展，而且已經(jīng)有一種編碼器-解碼器框架在這一任務(wù)上得到了出色的表現(xiàn)。在本論文中，我們提出了一種編碼器-解碼器框架的擴(kuò)展——增加了一個(gè)名叫引導(dǎo)網(wǎng)絡(luò)（guiding network）的組件。這種引導(dǎo)網(wǎng)絡(luò)會(huì)建模輸入圖像的屬性特性，其輸出會(huì)被用于組成解碼器在每個(gè)時(shí)間步驟的輸入。這種引導(dǎo)網(wǎng)絡(luò)可以插入到當(dāng)前的編碼器-解碼器框架中，并且可以以一種端到端的方式訓(xùn)練。因此，該引導(dǎo)向量可以根據(jù)來自解碼器的信號(hào)而自適應(yīng)地學(xué)習(xí)得到，使其自身中嵌入來自圖像和語言兩方面的信息。此外，還能使用判別式監(jiān)督來進(jìn)一步提升引導(dǎo)的質(zhì)量。我們通過在 MS COCO 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了我們提出的方法的優(yōu)勢。

2  發(fā)現(xiàn)和區(qū)分多義詞的多個(gè)視覺含義（Discovering and Distinguishing Multiple Visual Senses for Polysemous Words）

bmc.uestc.edu.cn/~fshen/AAAI18.pdf

為了減少對(duì)有標(biāo)簽數(shù)據(jù)的依賴，利用網(wǎng)絡(luò)圖像學(xué)習(xí)視覺分類器的研究工作一直在不斷增多。限制他們的表現(xiàn)的一個(gè)問題是多義詞問題。為了解決這個(gè)問題，我們在本論文中提出了一種全新的框架——該框架可通過允許搜索結(jié)果中特定于含義的多樣性來解決該問題。具體而言，我們先發(fā)現(xiàn)一個(gè)用于檢索特定于含義的圖像的可能語義含義列表。然后，我們使用檢索到的圖像來合并視覺上相似的含義并剪枝掉噪聲。最后，我們?yōu)槊總€(gè)被選中的語義含義訓(xùn)練一個(gè)視覺分類器并使用學(xué)習(xí)到的特定于含義的分類器來區(qū)分多個(gè)視覺含義。我們在按含義給圖像分類和重新排序搜索結(jié)果上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明了我們提出的方法的優(yōu)越性。

3  使用穩(wěn)定化Barzilai-Borwein 步長的隨機(jī)非凸序數(shù)嵌入（Stochastic Non-convex Ordinal Embedding with Stabilized Barzilai-Borwein Step Size）

https://arxiv.org/abs/1711.06446

根據(jù)相對(duì)相似度比較來學(xué)習(xí)表征的方法通常被稱為序數(shù)嵌入（ordinal embedding），該方法在近些年得到了越來越多的關(guān)注。大多數(shù)已有的方法都是主要基于凸優(yōu)化而設(shè)計(jì)的批處理方法，比如投影梯度下降法（projected gradient descent method）。但是，由于更新過程中通常采用了奇異值分解（SVD），所以這些方法往往非常耗時(shí)，尤其是當(dāng)數(shù)據(jù)量非常大時(shí)。為了克服這一難題，我們提出了一種名叫 SVRG-SBB 的隨機(jī)算法，該算法有以下特性：

• （a）通過丟棄凸性而不再需要 SVD，而且通過使用隨機(jī)算法（即方差縮減隨機(jī)梯度算法（SVRG））而實(shí)現(xiàn)了優(yōu)良的擴(kuò)展性能；

• （b）引入一種新的具有自適應(yīng)的步長選擇的穩(wěn)定化 Barzilai-Borwein（SBB）方法，由于凸問題的原始版本可能無法用于所考慮的隨機(jī)非凸優(yōu)化問題。

此外，研究表明我們提出的算法能在我們的設(shè)置中以的速度收斂到一個(gè)穩(wěn)定解，其中 T是總迭代次數(shù)。我們還進(jìn)行了許多模擬和真實(shí)數(shù)據(jù)實(shí)驗(yàn)，并通過與當(dāng)前最佳方法的比較而證明了我們提出的算法的有效性；尤其值得一提的是我們的算法使用遠(yuǎn)遠(yuǎn)更低的計(jì)算成本也能實(shí)現(xiàn)優(yōu)良的預(yù)測表現(xiàn)。

4  降秩線性動(dòng)態(tài)系統(tǒng)（Reduced-Rank Linear Dynamical Systems）

線性動(dòng)態(tài)系統(tǒng)（LDS）在研究多變量時(shí)間序列的基本模式方面有廣泛的應(yīng)用。這些模型的一個(gè)基本假設(shè)是高維時(shí)間序列可以使用一些基本的、低維的和隨時(shí)間變化的隱含狀態(tài)來表征。但是，已有的 LDS 建模方法基本上是學(xué)習(xí)一個(gè)規(guī)定了維數(shù)的隱含空間。當(dāng)處理長度較短的高維時(shí)間序列數(shù)據(jù)時(shí)，這樣的模型會(huì)很容易過擬合。我們提出了降秩線性動(dòng)態(tài)系統(tǒng)（RRLDS），可以在模型學(xué)習(xí)過程中自動(dòng)檢索隱含空間的固有維數(shù)。

我們觀察到的關(guān)鍵是 LDS 的動(dòng)態(tài)矩陣的秩中包含了固有的維數(shù)信息，而使用降秩正則化的變分推理最終會(huì)得到一個(gè)簡明的、結(jié)構(gòu)化的且可解釋的隱含空間。為了讓我們的方法能處理有計(jì)數(shù)值的數(shù)據(jù)，我們引入了離散性自適應(yīng)分布（dispersion-adaptive distribution）來適應(yīng)這些數(shù)據(jù)本身具備的過離散性/等離散性/欠離散性。在模擬數(shù)據(jù)和實(shí)驗(yàn)數(shù)據(jù)上的結(jié)果表明我們的模型可以穩(wěn)健地從長度較短的、有噪聲的、有計(jì)數(shù)值的數(shù)據(jù)中學(xué)習(xí)隱含空間，并且還顯著超越了當(dāng)前最佳的方法的預(yù)測表現(xiàn)。

5  使用重構(gòu)模型翻譯代詞脫落語言（Translating Pro-Drop Languages with Reconstruction Models）

在漢語等代詞脫落語言（pro-drop language）中，代詞常會(huì)被省略，這通常對(duì)翻譯結(jié)果的完整性造成極大的不良影響。到目前為止，很少有研究關(guān)注神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT）中的代詞脫落（DP）問題*。在這項(xiàng)研究中，我們提出了一種全新的基于重構(gòu)的方法，用于緩解NMT 模型中代詞脫落所引起的翻譯問題。首先，利用雙語語料庫中提取的對(duì)齊信息，將所有源句子中脫落的代詞進(jìn)行自動(dòng)標(biāo)注。然后，再使NMT模型中的隱藏層的表示重構(gòu)回被標(biāo)注的源句子。使用重構(gòu)分?jǐn)?shù)來輔助訓(xùn)練目標(biāo)，用于鼓勵(lì)隱藏層表征盡可能地嵌入標(biāo)注的DP信息，從而引導(dǎo)與該NMT模型相關(guān)的參數(shù)來產(chǎn)生增強(qiáng)的隱藏層表征。我們在漢語-英語和日語-英語對(duì)話翻譯任務(wù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明本方法顯著地、持續(xù)地超過了強(qiáng)大的NMT基準(zhǔn)系統(tǒng)，該基準(zhǔn)系統(tǒng)直接建立在標(biāo)注了DP的訓(xùn)練數(shù)據(jù)上。

注：論文第一作者王龍躍的微博將 dropped pronoun (DP) problem 稱為代詞缺失問題。但中文語言學(xué)的文獻(xiàn)將其稱為代詞脫落問題，比如 http://www.nssd.org/articles/article_detail.aspx?id=1002125785。為了與 Pro-Drop Language 術(shù)語統(tǒng)一，這里使用后者。

6  改進(jìn)序列到序列的成分句法分析（Improving Sequence-to-Sequence Constituency Parsing）

序列到序列的成分句法分析，通過自上而下的樹線性化（tree linearization），將結(jié)構(gòu)預(yù)測轉(zhuǎn)化成一般的序列到序列的問題來處理，因此它可以很容易地利用分布式設(shè)備進(jìn)行并行訓(xùn)練。這種模型依賴于一種概率注意機(jī)制，盡管這種機(jī)制在一般的序列到序列問題取得了成功，但在句法分析特定場景中它無法保證選擇充分的上下文信息。之前的研究工作引入了一種確定性注意（deterministic attention）機(jī)制來為序列到序列的句法分析選擇有信息量的上下文，但這種方法只能適用于自下而上的線性化，而且研究者也已經(jīng)觀察到：對(duì)標(biāo)準(zhǔn)的序列到序列的成分句法分析而言，自上而下的線性化優(yōu)于自下而上的線性化。在這篇論文中，我們對(duì)該確定性注意力機(jī)制進(jìn)行了拓展，使其可以適用于自上而下的樹線性化。我們進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明我們的句法分析器相比于自下而上的線性化取得了顯著的準(zhǔn)確度提升；在不使用重排序（reranking）或半監(jiān)督訓(xùn)練的情況下，我們的方法在標(biāo)準(zhǔn)的英文PTB 和 中文CTB數(shù)據(jù)集上分別達(dá)到了92.3 和 85.4 Fscore。

7  用于眾包配對(duì)排名聚合的使用信息最大化的 HodgeRank（HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation）

https://arxiv.org/abs/1711.05957

眾包近來已經(jīng)成為了許多領(lǐng)域解決需要人力的大規(guī)模問題的有效范式。但是，任務(wù)發(fā)布者通常預(yù)算有限，因此有必要使用一種明智的預(yù)算分配策略以獲得更好的質(zhì)量。在這篇論文中，我們在 HodgeRank 框架中研究了用于主動(dòng)采樣策略的信息最大化原理；其中 HodgeRank 這種方法基于多個(gè)眾包工人（worker）的配對(duì)排名數(shù)據(jù)的霍奇分解（Hodge Decomposition）。該原理給出了兩種主動(dòng)采樣情況：費(fèi)希爾信息最大化（Fisher information maximization）和貝葉斯信息最大化（Bayesian information maximization）。其中費(fèi)希爾信息最大化可以在無需考慮標(biāo)簽的情況下基于圖的代數(shù)連接性（graph algebraic connectivity）的序列最大化而實(shí)現(xiàn)無監(jiān)督式采樣；貝葉斯信息最大化則可以選擇從先驗(yàn)到后驗(yàn)的過程有最大信息增益的樣本，這能實(shí)現(xiàn)利用所收集標(biāo)簽的監(jiān)督式采樣。實(shí)驗(yàn)表明，相比于傳統(tǒng)的采樣方案，我們提出的方法能提高采樣效率，因此對(duì)實(shí)際的眾包實(shí)驗(yàn)而言是有價(jià)值的。

8  自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)（Adaptive Graph Convolutional Neural Networks）

圖卷積神經(jīng)網(wǎng)絡(luò)（Graph CNN）是經(jīng)典 CNN 的方法，可用于處理分子數(shù)據(jù)、點(diǎn)云和社交網(wǎng)絡(luò)等圖數(shù)據(jù)。Graph CNN 領(lǐng)域當(dāng)前的過濾器是為固定的和共享的圖結(jié)構(gòu)構(gòu)建的。但是，對(duì)于大多數(shù)真實(shí)數(shù)據(jù)而言，圖結(jié)構(gòu)的規(guī)模和連接性都會(huì)改變。本論文提出了一種有泛化能力的且靈活的Graph CNN，其可以使用任意圖結(jié)構(gòu)的數(shù)據(jù)作為輸入。通過這種方式，可以在訓(xùn)練時(shí)為每個(gè)圖數(shù)據(jù)都學(xué)習(xí)到一個(gè)任務(wù)驅(qū)動(dòng)的自適應(yīng)圖。為了有效地學(xué)習(xí)這種圖，我們提出了一種距離度量學(xué)習(xí)。我們在九個(gè)圖結(jié)構(gòu)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明我們的方法在收斂速度和預(yù)測準(zhǔn)確度方面都有更優(yōu)的表現(xiàn)。

9  多維長時(shí)數(shù)據(jù)的隱含稀疏模型（Latent Sparse Modeling of Longitudinal Multi-dimensional Data）

http://www.engr.uconn.edu/~jinbo/doc/AAAI_18_v5.pdf

我們提出了一種基于張量的模型，可用于對(duì)由多樣本描述單個(gè)對(duì)象的多維數(shù)據(jù)進(jìn)行分析。該模型能同時(shí)發(fā)現(xiàn)特征中的模式以及揭示會(huì)影響到當(dāng)前結(jié)果的過去時(shí)間點(diǎn)上的數(shù)據(jù)。其模型系數(shù)，一個(gè) k-模的張量，可分解為 k 個(gè)維數(shù)相同的張量的總和。為了完成特征選擇，我們引入了張量的“隱含F(xiàn)-1模”作為我們的公式中的分組懲罰項(xiàng)。此外，通過開發(fā)一個(gè)基于張量的二次推斷函數(shù)（quadratic inference function, QIF），我們提出的模型還能考慮到每個(gè)對(duì)象的所有相關(guān)樣本的內(nèi)部關(guān)聯(lián)性。我們提供了當(dāng)樣本量趨近于無窮大時(shí)對(duì)模型的漸進(jìn)分析（asymptotic analysis）。為了解決對(duì)應(yīng)的優(yōu)化問題，我們開發(fā)了一種線性化的塊坐標(biāo)下降算法（linearized block coordinate descent algorithm），并證明了其在樣本量固定時(shí)的收斂性。在合成數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集：功能性磁共振成像（ fMRI） 和 腦電圖（EEG） 上的計(jì)算結(jié)果表明我們提出的方法比已有的技術(shù)有更優(yōu)的表現(xiàn)。

10 使用用戶-物品聯(lián)合自回歸模型的協(xié)同過濾（Collaborative Filtering with User-Item Co-Autoregressive Models

https://arxiv.org/abs/1612.07146

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)表現(xiàn)出了在協(xié)同過濾（CF）方面的潛力。但是，已有的神經(jīng)方法要么是基于用戶的，要么就是基于項(xiàng)目的，這不能明確地利用所有的隱含信息。我們提出了 CF-UIcA，這是一種用于 CF 任務(wù)的神經(jīng)聯(lián)合自回歸模型，其利用了用戶和物品兩個(gè)域中的結(jié)構(gòu)相關(guān)性。這種聯(lián)合自回歸允許為不同的任務(wù)集成其它額外的所需特征。此外，我們還開發(fā)了一個(gè)有效的隨機(jī)學(xué)習(xí)算法來處理大規(guī)模數(shù)據(jù)集。我們在 MovieLens 1M 和 Netflix 這兩個(gè)流行的基準(zhǔn)上對(duì) CF-UIcA 進(jìn)行了評(píng)估，并且在評(píng)級(jí)預(yù)測和推薦最佳 N 項(xiàng)的任務(wù)上都實(shí)現(xiàn)了當(dāng)前最佳的表現(xiàn)，這證明了 CF-UIcA 的有效性。

11 EAD：通過對(duì)抗樣本實(shí)現(xiàn)對(duì)深度神經(jīng)網(wǎng)絡(luò)的彈性網(wǎng)絡(luò)攻擊（EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples）

https://arxiv.org/abs/1709.04114

近來的一些研究已經(jīng)突出說明了深度神經(jīng)網(wǎng)絡(luò)（DNN）面對(duì)對(duì)抗樣本時(shí)的脆弱性——我們可以輕松創(chuàng)造出在視覺上難以區(qū)分，卻能讓經(jīng)過良好訓(xùn)練的模型分類錯(cuò)誤的對(duì)抗圖像。已有的對(duì)抗樣本創(chuàng)造方法是基于 L2 和 L∞ 失真度量的。但是，盡管事實(shí)上 L1 失真就能說明整體的變化情況且鼓勵(lì)稀疏的擾動(dòng)，但在創(chuàng)造基于 L1 的對(duì)抗樣本上的發(fā)展則很少。

在本論文中，我們將使用對(duì)抗樣本攻擊 DNN 的過程形式化為了使用彈性網(wǎng)絡(luò)正則化的優(yōu)化問題。我們對(duì) DNN 的彈性網(wǎng)絡(luò)攻擊（EAD）使用了面向 L1 的對(duì)抗樣本，并且還包含了當(dāng)前最佳的 L2 攻擊作為特例。在 MNIST、CIFAR10 和 ImageNet 上的實(shí)驗(yàn)結(jié)果表明 EAD 可以得到一組明確的具有很小 L1 失真的對(duì)抗樣本，并且能在不同攻擊場景中實(shí)現(xiàn)與當(dāng)前最佳方法近似的攻擊表現(xiàn)。更重要的是，EAD 能改善攻擊可遷移性以及幫補(bǔ) DNN 的對(duì)抗訓(xùn)練，這為在對(duì)抗機(jī)器學(xué)習(xí)中利用 L1 失真以及 DNN 的安全意義提供了全新的見解。

如果，您是……

• 高校的老師 or 學(xué)生，希望錄用論文能得到更多對(duì)外展示和交流的機(jī)會(huì)；

• 身處企業(yè)的研究員，希望能借助學(xué)術(shù)會(huì)議系統(tǒng)地對(duì)外介紹企業(yè)的研究工作，或是在海外學(xué)術(shù)會(huì)議上與媒體進(jìn)行深度合作；

以雷鋒網(wǎng)官網(wǎng)為基準(zhǔn)，自媒體平臺(tái)、AI科技評(píng)論微信平臺(tái)、慕課學(xué)院線上直播平臺(tái)、培訓(xùn)相關(guān)課程、社區(qū)服務(wù)、線下直播支持……您能想得到的一切傳播方式，我們都能盡力為您提供。

如有興趣，歡迎關(guān)注AI科技評(píng)論（aitechtalk），在公眾號(hào)底部的“關(guān)于我們”對(duì)號(hào)入座選擇相應(yīng)的類目，我們將有專員與您進(jìn)行深入溝通。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。