丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
人工智能學(xué)術(shù) 正文
發(fā)私信給我在思考中
發(fā)送

0

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

本文作者: 我在思考中 2021-08-12 15:03
導(dǎo)語:國際權(quán)威機(jī)器視覺問答榜單 VQA Leaderboard出現(xiàn)關(guān)鍵突破:阿里巴巴達(dá)摩院以81.26%的準(zhǔn)確率創(chuàng)造了新紀(jì)錄,讓AI在“讀圖會意”上首次超越人類基準(zhǔn)。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

AI 科技評論報道

編輯 | 陳大鑫

給大家出一道視覺問答題:在下面這張圖片中,根據(jù)有禮服裝飾的小熊玩具照片推理出這些玩具用來做什么的?

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

一個可能的答案或許是“婚禮”~
這道題對人類而言太簡單不過了,那么對 AI 來說呢?
AI 在這視覺問答方面能和人類相比嗎?
答案來了——歷時6年,在機(jī)器視覺問答領(lǐng)域,第一位得分超越人類的AI選手誕生了!

8月12日,AI 科技評論注意到,國際權(quán)威機(jī)器視覺問答榜單 VQA Leaderboard出現(xiàn)關(guān)鍵突破:阿里巴巴達(dá)摩院以81.26%的準(zhǔn)確率創(chuàng)造了新紀(jì)錄,讓AI在“讀圖會意”上首次超越人類基準(zhǔn)。繼2015年、2018年AI分別在視覺識別及文本理解領(lǐng)域超越人類分?jǐn)?shù)后,人工智能在多模態(tài)技術(shù)領(lǐng)域也迎來一大進(jìn)展。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

圖注:達(dá)摩院AliceMind在VQA Leaderboard上創(chuàng)造首次超越人類的紀(jì)錄

比較難得的是,3年前,讓中國AI在文本理解領(lǐng)域歷史性超越人類的,同樣是達(dá)摩院AI研究團(tuán)隊。


1

VQA是什么?

近10年來,AI技術(shù)保持高速發(fā)展,AI模型已在多個任務(wù)和技能上達(dá)到超越人類的水平,比如在游戲領(lǐng)域,強(qiáng)化學(xué)習(xí)智能體 AlphaGo 2016 年擊敗了世界頂尖棋手李世石;在視覺理解領(lǐng)域,以 CNN 為代表的卷積類模型 2015 年在 ImageNet視覺分類任務(wù)上超越了人類成績;在文本理解領(lǐng)域,2018年微軟與阿里幾乎同時在斯坦福SQuAD挑戰(zhàn)賽上讓 AI 閱讀理解超越了人類基準(zhǔn)。

然而,在視覺問答VQA(Visual Question Answering)這一涉及視覺-文本多模態(tài)理解的高階認(rèn)知任務(wù)上,AI 過去始終未取得超越人類水平的突破。

“詩是無形畫,畫是有形詩?!?/span>宋代詩人張舜民曾如此描繪語言與視覺的相通之處。隨著深度學(xué)習(xí)、視覺理解、文本理解等領(lǐng)域高速發(fā)展,自然語言技術(shù)與計算機(jī)視覺交融逐漸成為多模態(tài)領(lǐng)域重要的前沿研究方向。其中,VQA是多模態(tài)領(lǐng)域挑戰(zhàn)極高的核心任務(wù),解決VQA挑戰(zhàn),對研發(fā)通用人工智能具有重要意義。

為鼓勵攻克這一難題,全球計算機(jī)視覺頂會CVPR從2015年起連續(xù)6年舉辦VQA挑戰(zhàn)賽,吸引了包括微軟、Facebook、斯坦福大學(xué)、阿里巴巴、百度等眾多頂尖機(jī)構(gòu)參與,形成了國際上規(guī)模最大、認(rèn)可度最高的VQA數(shù)據(jù)集,其包含超20萬張真實照片、110萬道考題。

VQA 是AI領(lǐng)域難度最高的挑戰(zhàn)之一。在測試中,AI需根據(jù)給定圖片及自然語言問題生成正確的自然語言回答。這意味著單個AI模型需融合復(fù)雜的計算機(jī)視覺及自然語言技術(shù):首先對所有圖像信息進(jìn)行掃描,再結(jié)合對文本問題的理解,利用多模態(tài)技術(shù)學(xué)習(xí)圖文的關(guān)聯(lián)性、精準(zhǔn)定位相關(guān)圖像信息,最后根據(jù)常識及推理回答問題。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

今年6月,阿里達(dá)摩院在 VQA 2021 Challenge 的55支提交隊伍中奪冠,成績領(lǐng)先第二名約1個百分點、去年冠軍3.4個百分點。兩個月后,達(dá)摩院再次以81.26%的準(zhǔn)確率創(chuàng)造VQA Leaderboard全球紀(jì)錄,首次超越人類基準(zhǔn)線80.83%。

這一結(jié)果意味著,AI 在封閉數(shù)據(jù)集內(nèi)的 VQA 表現(xiàn)已媲美人類。

面對更開放的現(xiàn)實世界,AI一定會遇到新的挑戰(zhàn),需要喂更多的數(shù)據(jù)、進(jìn)一步提升模型。但和 CV 等領(lǐng)域的發(fā)展一樣,這一結(jié)果依然具有標(biāo)志性意義,相信VQA技術(shù)在現(xiàn)實中的表現(xiàn)提升只是時間問題。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

圖注:VQA技術(shù)自2015年的進(jìn)展

2

VQA分?jǐn)?shù)超人類如何誕生?

VQA挑戰(zhàn)的核心難點在于,需在單模態(tài)精準(zhǔn)理解的基礎(chǔ)上,整合多模態(tài)的信息進(jìn)行聯(lián)合推理認(rèn)知,最終實現(xiàn)跨模態(tài)理解,即在統(tǒng)一模型里做不同模態(tài)的語義映射和對齊。

據(jù)了解,為了解決VQA挑戰(zhàn),達(dá)摩院語言技術(shù)實驗室及視覺實驗室對AI視覺-文本推理體系進(jìn)行了系統(tǒng)性的設(shè)計,融合了大量算法創(chuàng)新,包括:

  1. 多樣性的視覺特征表示,從各方面刻畫圖片的局部和全局語義信息,同時使用Region,Grid,Patch等視覺特征表示,以更精準(zhǔn)地進(jìn)行單模態(tài)理解;
  2. 基于海量圖文數(shù)據(jù)和多粒度視覺特征的多模態(tài)預(yù)訓(xùn)練,用于更好地進(jìn)行多模態(tài)信息融合和語義映射,創(chuàng)新性地提出了SemVLP,Grid-VLP,E2E-VLP和Fusion-VLP等預(yù)訓(xùn)練模型;
  3. 研發(fā)自適應(yīng)的跨模態(tài)語義融合和對齊技術(shù),創(chuàng)新性地在多模態(tài)預(yù)訓(xùn)練模型中加入Learning to Attend機(jī)制來進(jìn)行跨模態(tài)信息地高效深度融合;

    4.采用Mixture of Experts (MOE)技術(shù)進(jìn)行知識驅(qū)動的多技能AI集成。

其中自研的多模態(tài)預(yù)訓(xùn)練模型E2E-VLP,StructuralLM已被國際頂級會議ACL2021接受。

模型大圖如下:

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

這不是達(dá)摩院第一次在 AI 關(guān)鍵領(lǐng)域超越人類。
早在2018年,作為業(yè)界最早投入預(yù)訓(xùn)練語言模型研究的機(jī)構(gòu)之一,達(dá)摩院前身IDST曾在斯坦福SQuAD挑戰(zhàn)賽中歷史性地讓機(jī)器閱讀理解首次超越人類,轟動全球。
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

3

VQA 考高分有什么用?

達(dá)摩院語言技術(shù)實驗室負(fù)責(zé)人司羅曾表示,“人工智能分為計算智能、感知智能、認(rèn)知智能、創(chuàng)造智能四個層次。”
本次,AI 在視覺-文本跨模態(tài)理解及推理上媲美人類的水平,意味著 AI 向認(rèn)知智能邁進(jìn)了關(guān)鍵一步。
據(jù)了解,VQA 技術(shù)擁有廣闊的應(yīng)用場景,可用于圖文閱讀、跨模態(tài)搜索、盲人視覺問答、醫(yī)療問診、智能駕駛、虛擬主播等領(lǐng)域,或?qū)⒆兏锶藱C(jī)交互方式。目前,VQA 技術(shù)已在阿里內(nèi)部應(yīng)用于商品圖文理解、智能客服等場景。
在阿里平臺上,達(dá)摩院VQA能力已實現(xiàn)較大范圍工業(yè)應(yīng)用落地,典型VQA應(yīng)用包括:1、商品圖文信息理解;2、直播視頻交互;3、多模態(tài)搜索。


4

VQA考卷有多難?

對單一AI模型來說,VQA 考卷難度堪稱“變態(tài)”。
要拿到漂亮的分?jǐn)?shù),AI不僅要修煉好圖像識別、文本識別、文本理解等基本功,還要解鎖計數(shù)、讀鐘表、推理認(rèn)知等附加技能,此外還必須擁有百科全書的豐富常識。
比如,在下面這道VQA考題中,根據(jù)男人帽子上的字母“B”+問題“男人的橄欖球帽代表哪只球隊?”
AI 要推理出答案“波士頓球隊”。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

根據(jù)士兵玩具和戰(zhàn)斗場景+問題“圖中玩具人的IP出自哪部電影??”AI要推理出答案“星球大戰(zhàn)”。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

6年前,這些問題對AI來說難度極高。經(jīng)過多年的技術(shù)積累,達(dá)摩院AliceMind在VQA測試中拿到了超81分的成績,基本達(dá)到普通人看圖問答的水準(zhǔn)。
相信AI未來將給人類帶來更多驚喜。
AI科技評論這里展示一些部分 AliceMind 回答正確的VQA挑戰(zhàn)示例:
百科知識:
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄
人文地理:
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄
生活技能:計數(shù)、讀鐘表、識顏色、識路牌

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

體育娛樂:
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄
視覺推理:
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄
AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

好家伙,AI 真是變的越來越厲害了,人類危險了(嗎)......

論文鏈接:

1. E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning, ACL2021

2. A Structural Pre-trained Model for Table and Form Understanding, ACL 2021 

3. SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels 

VQA示例鏈接:
https://nlp.aliyun.com/portal#/multi_modal
達(dá)摩院AliceMind開源鏈接:
https://github.com/alibaba/AliceMind

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

AI“讀圖會意”首超人類!阿里達(dá)摩院刷新全球機(jī)器視覺問題紀(jì)錄

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說