0
| 本文作者： 我在思考中 | 2022-03-04 15:33 |
作者 | 陳彩嫻
不久前，Meta AI 宣稱，其于去年3月提出的10億參數自監(jiān)督模型 SEER （SElf-supERvised）又取得了新突破：新的 SEER 參數量翻了10倍，達到了100億參數，可以取得更優(yōu)秀、更公平的性能表現！
以下我們暫且稱新的 SEER 模型為“SEER 10B”（一個牛逼不足以形容 Meta AI 在行動上落實自監(jiān)督的野心，手動狗頭）。
根據 Meta AI 的團隊介紹，他們將 SEER 10B 模型在50+個基準與多個不同未標記數據集上進行了測試。其中，SEER 10B 不僅在 ImageNet 上取得了高達 85.8% 的準確率（排名第一），與原先只有 10 億參數量的 SEER （84.2%）相比性能提升了 1.6%。
此外，SEER 10B 在性別、膚色、年齡等三個公平基準上獲得了更出色的識別效果，明顯優(yōu)于監(jiān)督模型。
論文地址：https://arxiv.org/pdf/2202.08360.pdf
留意 Meta AI 的朋友不難發(fā)現：最近，Meta AI 首席科學家 Yann LeCun 與 Meta 創(chuàng)始人扎克伯格在公開發(fā)言中堅持強調自監(jiān)督學習的優(yōu)越性。上周，LeCun還提到自監(jiān)督與世界模型，將 AI 最終能學會像人類一樣學習與推理的希望寄托在這兩個方法上。
所謂“自監(jiān)督學習”，就是 AI 系統(tǒng)可以直接從文本、圖像或其他類型的無標記數據中直接學習，主要針對解決監(jiān)督學習所需的海量標記數據問題，因為在現實研究中，要獲取大量的標記數據難度極高。
LeCun一直認為，自監(jiān)督學習是構建具有背景知識或“常識”的機器、以解決遠遠超出當今 AI 任務的最有前景的方法之一。
但同時，也有讀者評價 Meta 倡導的自監(jiān)督本質上不過是強化學習。不久前，“懟王”Jürgen Schmidhuber 也發(fā)表文章，稱“All You Need Is Supervised Learning”，重申監(jiān)督學習在突破 AI 瓶頸中扮演的重要角色。
勿論其他，那么，Meta AI 在自監(jiān)督學習上有哪些研究實踐？參數量翻了10倍的 SEER 模型又有哪些新花樣？一起來看看~
去年3月初，Meta AI（原 Facebook AI）發(fā)布了10億參數自監(jiān)督模型 SEER，曾在 AI 領域引起廣泛關注。
據 Meta 介紹，這是他們在計算機視覺領域所取得的第一個基于自監(jiān)督學習方法的成果：它可以直接從互聯網的任一隨機圖像集合中學習，無需詳細的數據管理和標記，隨后直接輸出圖像嵌入。
經過一年的提升，如今 Meta 的研究團隊將 SEER 的參數量擴大了10倍，在原有的基礎上取得了更出色的性能表現：
除了可以在無標記數據上直接學習，SEER 還可以提取更高質量的視覺特征，以及發(fā)現現實世界大規(guī)模圖像數據集中的顯著信息，方式與人類分析所觀察事物之間的關系的方式來了解世界般相似。
注意：這些數據集的覆蓋范圍是全球數萬億張隨機、未經處理的圖像。
據悉，擴大了10倍密集參數后的 SEER 是當前規(guī)模最大的密集計算機視覺模型。
他們在 50 多個基準上檢驗了 SEER 模型的性能，包括公平性、魯棒性、細粒度識別，還在醫(yī)學成像、衛(wèi)星圖像和光學字符識別 (OCR) 等領域的多個圖像分類數據集上進行了實驗。
不難想象，參數量翻倍后的 SEER 10B模型在一些挑戰(zhàn)性較高的任務上也取得了更優(yōu)秀的表現。
首先，100億 SEER 在 ImageNet 上獲得了高達 85.8% 的準確率，排名第一！
除了在標準計算機視覺基準上的優(yōu)秀表現外，SEER還擅長處理高難度任務，并提高了對域外泛化的魯棒性。
例如，它可以正確識別素描圖和藝術畫中的動物，還可以搞定常見的圖像問題，例如掩裝、模糊、遮擋、運動和怪異視角拍攝等。
SEER 10B 模型還能夠捕獲大量隨機的、未經過濾的互聯網圖像中存在的顯著信息，甚至跨越不同的地理和語言概念。
例如，即使該模型僅在沒有位置信息或其他元數據的圖像上進行訓練，它也能夠將全球多種語言的相同概念組合在一起。例如，將來自世界各地的“婚禮”概念嵌入到模型的特征空間中。
除了性能的突破，Meta AI 還稱：SEER 10B 模型能取得更公平的效果。
他們使用 Meta 新開源的 Casual Conversations 數據集以及他們最近為CV模型提出的新公平基準對 SEER 進行測試，發(fā)現與較小的 SEER 模型以及 ImageNet 訓練的監(jiān)督和自監(jiān)督模型相比，SEER 10B 模型能更準確地識別這些社會成員屬性，適用于不同性別、膚色和年齡的人。
圖注：該圖使用 Casual Conversations 數據集顯示了性別檢索的準確性
此外，他們使用 Casual Conversations 數據集評估了模型標簽的錯誤率，例如在給定特定的人像中預測“非人類”或“犯罪”等標簽。研究表明，SEER 10B 問題不大，但在 ImageNet 上訓練的監(jiān)督模型卻產生了大量的錯誤關聯。
圖注：該圖顯示了 SEER 模型對不同人群的關聯預測錯誤率
SEER 10B模型還不僅適用于歐美國家的圖像示例，還適用于全球各地收入水平中下的地區(qū)，以前所未有的精度對圖像進行地理定位。
通過在 Gapminder 的 Dollar Street 數據集（該數據集收集了世界各地家庭中的物體圖像及家庭收入信息）上實驗，他們還發(fā)現，SEER 10B模型對識別全球中低收入家庭與非西方地區(qū)家庭的性能有了大幅提升，且明顯優(yōu)于10億參數的 SEER 與其他監(jiān)督方法。
圖注：在 Meta AI 于 2020 年創(chuàng)建的數據集 Hateful Memes 上檢測多模態(tài)（圖像 + 文本）仇恨言論時，SEER 10B 的表現也優(yōu)于受監(jiān)督的 ImageNet 訓練模型 2 個百分點。
Meta AI 的研究團隊表示，秉著“負責任地開發(fā) AI 系統(tǒng)”的原則，他們還對 SEER 10B模型進行了對抗性攻擊，以保護訓練數據的隱私安全。
他們在 Meta 的開源工具 Privacy Linter 上進行了測試，發(fā)現攻擊的準確度（50.02%）僅略高于完全隨機猜測，而隨機攻擊的準確度對于相同大小的訓練集，準確度為 50%。
此外，他們計算了不同召回級別的精度，以確保沒有訓練圖像在低召回級別中暴露——這種情況可能發(fā)生在所有得分最高的樣本都屬于訓練集時；同時，精度低于 50.15% 適用于所有級別的召回（包括最低級別）。
圖注：由于 SEER 不依賴于標記數據集，所以它能夠在一組比 ImageNet 的地理多樣性更優(yōu)的示例上訓練模型
為了測試模型在對抗性攻擊中的魯棒性，他們將模型用于識別模糊、插入、已被裁剪或經過其他編輯的扭曲圖像。其中，SEER 10B在 CopyDays 基準測試中實現了 90.6% 的平均精度，提高了 5.1%，超越了之前的最佳結果。
此外，SEER 在域外魯棒性基準上優(yōu)于在 ImageNet 上訓練的最先進的自監(jiān)督模型，并且隨著規(guī)模的增大，魯棒性也不斷提高。
目前，SEER 10B 的模型權重、實現細節(jié)與技術文檔都已開放：
項目地址：https://github.com/facebookresearch/vissl/blob/main/projects/SEER/README.md#pretrained-models-weights
自監(jiān)督學習是 Meta AI 首席科學家 Yann LeCun 近年來一直力推的研究方向。早在2018年Lecun就表示，人工智能的下一個發(fā)展方向可能是放棄深度學習的所有概率技巧，轉而掌握一系列轉移能量值的方法。與“常規(guī)”的深度學習標記訓練方法相比，這一方式無需創(chuàng)建大量帶標簽的數據集，其基本設想是通過獲取一些豐富的原始數據（如大量Facebook Live視頻或Instagram照片）并“喂”給機器進行訓練，訓練的目標是達到能量值越小越好（即預測更為準確，與現實之間實現更好的兼容性）。
Lecun 2018年在UCSB做的“Self-Supervised Learning”演講Slide
基于能量的學習早就有之。在AI研究中，“能量函數”是一個上世紀80年代一度流行的“上古”概念，由美國生物物理學家霍普菲爾德（John Hopfield）發(fā)明的“霍普菲爾德神經網絡”（HNN）引入并普及。Lecun認為，監(jiān)督學習無法獲得像人類一樣可以泛化的智能，當 AI 系統(tǒng)不再需要監(jiān)督學習時，下一次 AI 革命就會到來，而基于能量的學習正是“減少監(jiān)督”的有效實現方式。
Lecun的這一思路，在他上周接受 IEEE Spectrum 的訪談中也可見一斑。他認為AI想要突破現在的瓶頸，必須讓機器學習世界模型，從而能夠填補缺失的信息，預測將要發(fā)生的事情，并預測行動的影響。這種學習范式與預測架構的不同，或許也是不久前Lecun對OpenAI創(chuàng)始人Ilya Sutskever提出的“大型神經網絡可能有意識”堅決說不的原因。
在Lecun的力推下，META圍繞自監(jiān)督模型取得了一系列的研究成果（例如最近推出的多模態(tài)自監(jiān)督學習新架構deta2vec等）。這種通過自監(jiān)督學習“觀察世界并學習”、最終實現像人類一樣泛化的智能的學習方式，一方面可以最大程度利用META豐富的數據資源，同時也是META搶先打造元宇宙世界、加速數字世界與現實世界融合的重要技術手段。
Meta AI Research 團隊也表示，計算機視覺的發(fā)展是構建元宇宙的重要步驟，而自監(jiān)督視覺模型 SEER 的增強無疑為元宇宙的更上一層樓作了鋪墊。
舉例來說，如果要打造一幅能夠幫你導航尋找鑰匙或教你如何做飯的 AR 眼鏡，那么就需要機器能夠像人類一樣理解視覺世界。這些機器不單單要能在堪薩斯州和日本京都的廚房中工作，還要在吉隆坡、北京、紐約等等世界各地的廚房中工作，這就需要機器能識別常見物體的多種模樣。而 SEER 10B 在多種不同數據集中的強大性能為實現突破提供了可能。
雷峰網雷峰網(公眾號：雷峰網)
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
