雷鋒網(wǎng) AI 科技評論按：圖像描述生成技術(shù)是一個(gè)計(jì)算機(jī)視覺與 NLP 交叉研究領(lǐng)域的研究領(lǐng)域，在如今的浪潮下更顯火熱。今年 8 月，騰訊 AI Lab 憑借自主研發(fā)的強(qiáng)化學(xué)習(xí)算法在微軟 MS COCO 相關(guān)的 Image Captioning 任務(wù)上排名第一，超過了微軟、谷歌、IBM 等參賽公司。

據(jù)雷鋒網(wǎng)了解，MS COCO (Microsoft Common Objects in Context，常見物體圖像識別) 數(shù)據(jù)集（http://cocodataset.org/）是由微軟發(fā)布并維護(hù)的圖像數(shù)據(jù)集。在這個(gè)數(shù)據(jù)集上，共有物體檢測 (Detection)、人體關(guān)鍵點(diǎn)檢測 (Keypoints)、圖像分割 (Stuff)、圖像描述生成 (Captions) 四個(gè)類別的比賽任務(wù)。由于這些視覺任務(wù)是計(jì)算機(jī)視覺領(lǐng)域當(dāng)前最受關(guān)注和最有代表性的，MS COCO 成為了圖像理解與分析方向最重要的標(biāo)桿之一。其中圖像描述生成任務(wù) (Captions)，需要同時(shí)對圖像與文本進(jìn)行深度的理解與分析，相比其他三個(gè)任務(wù)更具有挑戰(zhàn)性，因此也吸引了更多的工業(yè)界（Google，IBM，Microsoft）以及國際頂尖院校（UC Berkeley、Stanford University）的參賽隊(duì)伍，迄今共有 80 個(gè)隊(duì)伍參與這項(xiàng)比賽。

通俗來說，圖像描述生成（image captioning）研究的是使機(jī)器擁有人類理解圖像的能力，并用人類語言描述感知到的圖像內(nèi)容。圖像描述生成使得機(jī)器可以幫助有視覺障礙的人來理解圖像，給圖像提供除了標(biāo)簽（tag）以外更加豐富的描述，因此這項(xiàng)任務(wù)具有廣泛的實(shí)際意義。

從學(xué)術(shù)研究的角度來說，圖像描述生成的研究不僅僅需要理解圖像，更需要理解自然語言，是一個(gè)跨學(xué)科跨模態(tài)的交叉研究課題，也是對深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力向多個(gè)數(shù)據(jù)域擴(kuò)展的一步重要的探索。因此，眾多科技企業(yè)和科研機(jī)構(gòu)參與了此任務(wù)，包括 Google [1][3]、Microsoft [5]、IBM [2]、Snapchat [4]、Montreal/Toronto University [6]、UC Berkeley [7]、 Stanford University [8]、百度 [9] 等。

雷鋒網(wǎng)獲悉，最近騰訊 AI Lab 研發(fā)了新的強(qiáng)化學(xué)習(xí)算法（Reinforcement Learning）以進(jìn)一步提高圖像描述生成的模型能力，如上圖所示。相應(yīng)的圖像描述生成模型，采用了編碼器-解碼器（encoder-decoder）[1] 的框架，同時(shí)引入了注意力（attention）的機(jī)制 [3]。基于之前研究的空間和通道注意力模型（spatial and channel-wise attention）[10] 的研究成果, AI Lab 構(gòu)建了新網(wǎng)絡(luò)模型引入了一個(gè)多階段的注意力機(jī)制（Multi-stage Attention）。編碼器，使用已有的圖像卷積神經(jīng)網(wǎng)絡(luò)（CNN）如 VGG，Inception，ResNet 等，將給定的圖像編碼成為蘊(yùn)含圖像語義信息的向量。

這些向量能夠表征圖像不同尺度的語義信息，譬如全局的語義、多尺度的局部語義。解碼器，使用當(dāng)前最流行的長短時(shí)記憶模型（LSTM），將編碼器得到的圖像的全局和局部語義向量，解碼生成描述圖像內(nèi)容的文本語句。正是在解碼的過程中，AI Lab 創(chuàng)新性地使用了多階段的注意力機(jī)制：將圖像不同尺度的局部語義信息，通過不同階段的注意力模塊，嵌入到每一個(gè)單詞的生成過程中；同時(shí)注意力模塊需要考慮不同尺度引入的不同階段的注意力信號強(qiáng)弱。

除了引入多階段的注意力機(jī)制，AI Lab 所研發(fā)的強(qiáng)化學(xué)習(xí)算法能進(jìn)一步提升構(gòu)建的網(wǎng)絡(luò)模型的訓(xùn)練效果。使用傳統(tǒng)的交叉熵（cross entropy）作為損失函數(shù)進(jìn)行訓(xùn)練，無法充分地優(yōu)化圖像描述生成的衡量指標(biāo)，譬如 BLEU，METEOR，ROUGE，CIDER，SPICE 等。這些衡量指標(biāo)作為損失函數(shù)都是不可微的。針對此不可微的問題，AI Lab 使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練網(wǎng)絡(luò)模型以優(yōu)化這些衡量指標(biāo)。

訓(xùn)練過程可以總結(jié)為以下幾個(gè)階段：

• 給定一幅圖像，通過深度網(wǎng)絡(luò)模型產(chǎn)生相應(yīng)的語句；

• 將相應(yīng)的語句與標(biāo)注語句比對以計(jì)算相應(yīng)的衡量指標(biāo)；

• 使用強(qiáng)化學(xué)習(xí)構(gòu)建深度網(wǎng)絡(luò)模型的梯度信息，執(zhí)行梯度下降完成網(wǎng)絡(luò)的最終優(yōu)化。

經(jīng)過充分的訓(xùn)練，騰訊 AI Lab 研發(fā)的圖像描述生成模型在微軟 MS COCO 的 Captions 任務(wù)上排名第一，超過了微軟、谷歌、IBM 等科技公司。

[1]. O. Vinyals, A. Toshev, S. Bengio, and D. Erhan,「Show and Tell: A Neural Image Caption Generator」, CVPR 2015.

[2]. S. J. Rennie, E. Marcheret, Y. Mroueh, J. Ross, and V. Goel,「Self-critical Sequence Training for Image Captioning」, CVPR 2017.

[3]. S. Liu; Z. Zhu; N. Ye; S. Guadarrama; and K. Murphy,「Improved Image Captioning via Policy Gradient Optimization of SPIDEr」, ICCV 2017.

[4]. Z. Ren, X. Wang, N. Zhang, X. Lv, and Li-Jia Li,「Deep Reinforcement Learning-Based Image Captioning With Embedding Reward」, CVPR 2017.

[5]. H. Fang, S. Gupta, F. Iandola, R. Srivastava, L. Deng, P. Dollár, J. Gao, X. He, M. Mitchell, J. Platt, C.L. Zitnick, and G. Zweig,「From Captions to Visual Concepts and Back」, CVPR 2015.

[6]. K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhudinov, R. Zemel, and Y. Bengio. Show,「Attend and Tell: Neural Image Caption Generation with Visual Attention」, ICML 2015.

[7]. J. Donahue, L. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell,「Long-term Recurrent Convolutional Networks for Visual Recognition and Description」, CVPR 2015.

[8]. A. Karpathy and Li Fei-Fei,「Deep Visual-Semantic Alignments for Generating Image Descriptions」, CVPR 2015.

[9]. J. Mao, W. Xu, Y. Yang, J. Wang, and A. L. Yuille,「Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)」, ICLR 2015.

[10]. L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. Chua,「SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning」, CVPR 2017.

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。