日前，全球最負盛名的 AI 學術(shù)會議之一NeurIPS（Neural Information Processing Systems）公布了2022年論文接收結(jié)果。創(chuàng)新奇智投稿論文 《An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning》成功被NeurIPS 2022接收。

作為當前全球最負盛名的 AI 學術(shù)會議之一，NeurIPS 是每年學界的重要事件。NeurIPS全稱是 Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)大會，通常在每年 12 月由 NeurIPS 基金會主辦。大會討論的內(nèi)容包含深度學習、計算機視覺、大規(guī)模機器學習、學習理論、優(yōu)化、稀疏理論等眾多細分領(lǐng)域。 今年 NeurIPS 已是第 36 屆，將于 11 月 28 日至 12 月 9 日舉行，為期兩周。第一周將在美國新奧爾良 Ernest N.Morial 會議中心舉行現(xiàn)場會議，第二周改為線上會議。NeurIPS 2022 論文投稿早已在 5 月 19 日截止，今日官方終于公布了錄用結(jié)果。根據(jù)官網(wǎng)郵件中給出的數(shù)據(jù)，本屆會議共有 10411 篇論文投稿，接收率為 25.6％，略低于去年的 26％。

論文解讀：

 

圖1：論文概要

論文概述：

本文提出了一種基于反標簽學習的半監(jiān)督少樣本圖像分類學習方法，包括以下步驟：構(gòu)造元任務(wù)，使用預(yù)訓練的神經(jīng)網(wǎng)絡(luò)作為特征提取器，提取元任務(wù)中支持集、查詢集以及無標簽圖像數(shù)據(jù)集對應(yīng)的特征，并在支持集上訓練一個分類器用于后續(xù)分類任務(wù)；反標簽學習模塊以較高正確率給無標簽數(shù)據(jù)打上反標簽，分類器在反標簽上進行學習更新，不斷迭代直到無法選出反標簽。正標簽學習模塊，在反標簽?zāi)K迭代結(jié)束之后，得到類別均衡且正確率較高正標簽，并用分類器進行學習更新。

 本文通過卷積神經(jīng)網(wǎng)絡(luò)提取元任務(wù)中對應(yīng)數(shù)據(jù)的特征，通過反標簽構(gòu)造模塊以較高正確率利用無標簽數(shù)據(jù)，并用分類器在反標簽數(shù)據(jù)上進行學習更新，進行迭代之后設(shè)計正標簽學習模塊獲得類別均衡且正確率較高的正標簽，用分類器在正標簽數(shù)據(jù)上進行學習更新，以更加充分且高質(zhì)量的利用無標簽數(shù)據(jù)，可以獲得更高的少樣本學習圖像分類準確率。

創(chuàng)新背景：

隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在多個圖像任務(wù)上已經(jīng)超過了人類的水平，但是這些模型的訓練依賴大量的數(shù)據(jù)，在現(xiàn)實生活中有些數(shù)據(jù)的采集難度較大，例如對液晶顯示屏幕所有種類缺陷數(shù)據(jù)的采集，另外這些數(shù)據(jù)的標注也需要耗費大量的人力和財力。 相比之下，人類視覺系統(tǒng)可以從少量的例子中快速學習到新的概念和特征，然后在新的數(shù)據(jù)中識別相似的對象。為了模仿人類的這種快速學習的能力，減少方法對于數(shù)據(jù)的依賴，少樣本學習近年來受到了越來越多的關(guān)注。少樣本學習旨在結(jié)合先驗知識快速地泛化到只包含少量有監(jiān)督信息的樣本的新任務(wù)中，在此設(shè)定下識別每個類別僅需要極少甚至一張帶標簽的樣本，所以可以極大地減少人工標注成本。

基于少樣本學習這樣數(shù)據(jù)量較少的設(shè)定，一個需要面臨的問題就是，在極少的帶標注數(shù)據(jù)上，很難讓模型較好的擬合到數(shù)據(jù)的分布。因此為了解決這樣的問題，少樣本學習中出現(xiàn)了結(jié)合半監(jiān)督的研究方向。另外為了解決數(shù)據(jù)標注困難的問題，反標簽學習的方法也應(yīng)運而生。反標簽顧名思義就是給數(shù)據(jù)打上相反的標簽，是一種間接的方式代表該數(shù)據(jù)不屬于某個類別。這樣的做法可以大大降低數(shù)據(jù)標注的錯誤，例如對于一個5分類問題來說，給數(shù)據(jù)打真實標簽即正標簽錯誤的概率為給數(shù)據(jù)打反標簽錯誤概率的4倍。另外在半監(jiān)督少樣本學習當中，由于帶標簽數(shù)據(jù)很少，因此模型在初始階段很難有好的效果。用這樣的模型給無標簽數(shù)據(jù)標記偽標簽將會出現(xiàn)大量的錯誤以及類別不平衡的現(xiàn)象。在這樣的情況結(jié)合反標簽學習的方法就可以解決這樣的問題。本發(fā)明研究的基于反標簽學習的半監(jiān)督少樣本學習方法，針對半監(jiān)督少樣本學習，設(shè)計適合的反標簽標注方法，并結(jié)合反標簽學習解決半監(jiān)督少樣本學習中出現(xiàn)的無標簽數(shù)據(jù)利用不充分等問題。

目前，出現(xiàn)了許多研究半監(jiān)督少樣本學習的方法，但依然存在一些問題： 1）給無標簽數(shù)據(jù)標注偽標簽的正確率較低，錯誤標記的樣本會影響最后的結(jié)果；2）無標簽數(shù)據(jù)上標注的偽標簽存在類別不平衡現(xiàn)象；3）方法較為復(fù)雜。

本論文主要貢獻：

本論文提出了一種基于反標簽學習的半監(jiān)督少樣本圖像分類學習方法。 方法具體如下：

步驟1，構(gòu)造元任務(wù)，使用預(yù)訓練的神經(jīng)網(wǎng)絡(luò)作為特征提取器用來提取圖像數(shù)據(jù)，提取元任務(wù)中支持集、查詢集以及無標簽數(shù)據(jù)集對應(yīng)的特征，并在支持集上訓練一個分類器，用于后續(xù)圖像分類任務(wù)；

 

步驟2，反標簽學習模塊以較高的95%正確率給無標簽圖像數(shù)據(jù)打上反標簽，用分類器在反標簽上進行學習更新，通過不斷迭代直到無法選出反標簽；

步驟3，正標簽學習模塊得到類別均衡且正確率高達85%的正標簽，并用分類器進行學習更新；

步驟4，用訓練好的分類器在查詢集上預(yù)測得到最后圖像分類的類別結(jié)果。

本文提出的方法與已有技術(shù)相比，其顯著優(yōu)點為：

（1）本發(fā)明設(shè)計的反標簽學習模塊，通過給無標簽圖像數(shù)據(jù)標注反標簽并進行學習的方式，在模型效果還不好的初始階段，大大降低給無標簽圖像數(shù)據(jù)標注標簽的錯誤率；

（2）經(jīng)過反標簽學習模塊之后，本發(fā)明設(shè)計的正標簽學習模塊可以得到正確率高且類別均衡的正標簽，繼續(xù)對模型進行訓練；

（3）本發(fā)明提出的方法相較于之前的方法流程簡單，可以更充分且高質(zhì)量利用無標簽圖像數(shù)據(jù)進行學習，最后在圖像分類任務(wù)上得到了更好的效果。

創(chuàng)新奇智CTO張發(fā)恩（論文作者之一）表示：“當前的深度學習技術(shù)對人工標注的數(shù)據(jù)樣本（也即帶標簽數(shù)據(jù)樣本）數(shù)量具有很大依賴性，如何減少對帶標簽數(shù)據(jù)樣本的依賴，利用較少的帶標簽數(shù)據(jù)樣本訓練出理想的視覺算法模型成為當下亟待突破的技術(shù)難點。 少樣本學習旨在從已有類別的數(shù)據(jù)中學習先驗知識，然后利用極少的標注數(shù)據(jù)完成對新類別的識別，打破了樣本數(shù)據(jù)量的制約，在傳統(tǒng)制造業(yè)等樣本普遍缺失的領(lǐng)域具有實用價值，有助于推動AI落地?！?/p>

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。