日前，全球計算機視覺頂級會議CVPR（IEEE Conference on Computer Vision and Pattern Recognition）公布了2021年論文接收結果。來自創(chuàng)新奇智的論文 《Zero-Shot Instance Segmentation》成功被CVPR 2021接收。

CVPR是計算機視覺領域三大頂級會議（CVPR、ICCV、ECCV）之一。CVPR的論文投稿量近五年來持續(xù)增長，根據CVPR官方網站統(tǒng)計，2021年一共收到有效投稿論文超過7500篇，最終1663篇論文被接收，接收率為27.3%。在激烈的競爭中，創(chuàng)新奇智投稿的論文脫穎而出，顯示創(chuàng)新奇智在計算機視覺領域深厚的創(chuàng)新力。

創(chuàng)新奇智被CVPR2021接收的論文提出了零樣本實例分割，屬于零樣本物體檢測的自然延伸(類似于Mask-RCNN之于Faster-RCNN)。創(chuàng)新奇智在將人工智能應用到商業(yè)化實踐的過程中，會遇到AI落地過程中非?，F(xiàn)實的問題，尤其是在面向信息化程度有限，樣本復雜多樣，正樣本數量奇缺或需要非常專業(yè)標注方法的制造業(yè)場景時，其中的數據獲取困難、標注成本高等行業(yè)難題成為眾多AI公司快速商業(yè)化的桎梏。創(chuàng)新奇智針對這一難題展開深入研究，獲得了突破性的創(chuàng)新結果，該結果對于數據發(fā)現(xiàn)、數據粗篩、輔助標注、模型基本能力探索等方面有巨大的提升。

論文解讀：

提交版本的摘要如截圖，中文意思如下：

深度學習可以利用大量的標注數據來有效地提升實例分割的精度，但是在諸如醫(yī)療和工業(yè)領域，要么收集足夠的數據非常困難，要么標注數據需要非常專業(yè)的知識。從這點出發(fā)，我們提出了一個新的任務稱之為零樣本實例分割(Zero-Shot Instance Segmentation)，文中簡稱ZSI。ZSI的任務要求在訓練過程中，只用已經見過并有標注的數據進行訓練，但在測試和推理時能夠同時分割出見過和沒見過的物體實例。我們先用數學語言對該任務進行描述，然后提出了一個方法來解決ZSI的問題。我們的方法包括零樣本檢測器(Zero-shot Detector)、語義蒙版頭(Semantic Mask Head)、背景感知RPN和背景同步策略。我們同時也提供了在MS-COCO數據集上的基準測試。實驗結果表明，我們提出的方法不僅在ZSI的任務上效果不錯，在零樣本檢測任務上也取得了比之前已有研究更好的表現(xiàn)。我們的方法可以作為一條堅實的基準，能夠有效的幫助未來的研究者進行零樣本實例分割的研究。

論文摘要截圖

本篇論文的主要貢獻為：

1：引出并定義出現(xiàn)實世界中遇到的零樣本的實例分割任務。

2：針對零樣本實例分割任務，提出應對的算法，該算法是基于背景感知的檢測-分割框架。

3：定義了零樣本分割(ZSI)自己獨特的測試基準。

4：測試結果表明在ZSD任務上超越了已有的方法，且在ZSI任務上的結果很有競爭力。

圖1：零樣本實例分割示例

在零樣本實例分割中，開始只使用標注的數據（標記為seen）作為訓練集訓練模型，在訓練完模型之后，使模型對訓練時候見到過（seen）的類別和模型訓練的時候沒有見到(unseen)的類別分別進行預測。在論文提出的方法中，如圖1，餐刀是在訓練模型的時候見過的類別，叉子是在訓練模型的時候沒有見過的類別，通過訓練圖像模型，同時維持一個餐刀和叉子在語義層面的特征向量來進行聯(lián)系。

整個零樣本實例分割的框架如圖2所示。對于一張輸入圖像來講，首先要使用骨干網絡(backbone)，BA-RPN和ROI Align來提取視覺特征和背景的詞向量，然后經過Sync-bg模塊后分別送入零樣本檢測器和語義分割頭，從而得到實例分割的結果。

圖2 零樣本實例分割的框架

零樣本檢測器的設計細節(jié)如圖3所示，采用了編碼-解碼結構，在測試/推理時只是用解碼器的Te

圖3 零樣本檢測器的設計細節(jié)

圖4：語義分割頭

語義分割頭的結構如圖4所示，它是一個encoder-decoder的架構，在訓練階段，使用encoder來把圖像的特征編碼到語義-文字特征向量。然后使用decoder把上面構建的語義-文字特征向量去重建圖像的任務：檢測，分割等。

不同模塊的作用如表1所示，可以看到，每個模塊都對結果有一定的提升，當按照論文提出的方法結合在一起時，達到最佳的效果。

表1： 每個模塊的效果

實驗結果：

首先如論文開頭所說，該方法在Zero-shot Detection的任務（數據集是COCO）上也明顯超越了已有的state-of-the-art的結果，達到了新的SOTA。

對于ZSI和GZSI（即零樣本實例分割和通用零樣本實例分割）任務來講，論文的結果也非常不錯，見表3和表4

  

局限性分析：

零樣本實例分割致力于解決工業(yè)場景中數據少，或者是數據難以發(fā)現(xiàn)和標注的問題，可以在沒有標注數據的情況下標注出新的類。但正如當前階段的AI不可能自己學會完全沒見過的知識一樣，論文提出的方法采用了詞向量這個額外特征作為中間媒介，然后把問題的核心轉換為如何利用額外特征在特征空間對齊視覺特征和語義信息，并遷移到沒有見過的新類上。

創(chuàng)新奇智CTO張發(fā)恩（論文作者之一）指出：“創(chuàng)新奇智提出的零樣本實例分割算法，是業(yè)界首次提出可以使用零樣本算法來做實例分割的方法，同時還能夠提升業(yè)界最新的零樣本檢測算法的準確率。尤其是對創(chuàng)新奇智來說，深度耕耘智能制造，在很多場景下，視覺系統(tǒng)所產生的數據形式多樣，沒有統(tǒng)一標準，很難直接使用深度學習的算法模型來使用。這個時候如果能夠使用零樣本學習的方法達到數據發(fā)現(xiàn)、數據粗篩、輔助標注、模型基本能力探索等工作顯現(xiàn)的尤為重要。這也是我們做這項研究的初衷?！?/p>

創(chuàng)新奇智聚焦智能制造，致力用人工智能創(chuàng)新技術解決復雜的工業(yè)生產問題，三年來已服務中冶賽迪、中鐵四局、中集、宗申、華電電科院等多家行業(yè)龍頭企業(yè)，積累和沉淀了豐富的行業(yè)實踐，提出一系列能解決實際問題的創(chuàng)新算法和產品或解決方案，如少樣本學習、零樣本實例分割、混合級聯(lián)實例分割算法、物理缺陷模擬等。在智能制造已成為國家戰(zhàn)略舉措的時代背景下，創(chuàng)新奇智將繼續(xù)在制造業(yè)領域精耕細作，打造更多的AI創(chuàng)新實踐。

雷鋒網雷鋒網

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。