雷鋒網(wǎng)消息 根據(jù)MIT和Google研究人員近期發(fā)表的論文，他們正在訓(xùn)練AI將圖像、聲音和文字等多方面信息匹配起來。

在語音識(shí)別、圖像識(shí)別以及下圍棋等單項(xiàng)能力方面，AI已經(jīng)足夠出色，甚至超越了人類。但是如果AI一次只能使用一種感知能力，無法將看到和聽到的內(nèi)容進(jìn)行匹配的話，就無法徹底理解周圍的世界。這正是MIT和Google的研究人員進(jìn)行這項(xiàng)研究原因。

研究人員并沒有教給算法任何新東西，只是建立了一種方式讓算法能夠?qū)⒍喾N感官獲得的知識(shí)進(jìn)行連接和協(xié)調(diào)。這一點(diǎn)至關(guān)重要。

論文的聯(lián)合作者之一——MIT的AI博士后Yusuf Aytar以無人車為例：比如無人車的聲音傳感器先聽到了救護(hù)車的聲音，然后激光雷達(dá)才看到救護(hù)車的樣子。有關(guān)救護(hù)車的鳴叫聲、樣子以及職能的知識(shí)可以讓無人車放慢速度，切換車道，為救護(hù)車讓路。

他說道：“你是先看到汽車還是先聽見引擎聲并沒有關(guān)系，你馬上能識(shí)別出這是同一個(gè)概念。因?yàn)槟愦竽X中的信息已經(jīng)自然地把它們協(xié)調(diào)統(tǒng)一起來了。”

為了訓(xùn)練這套系統(tǒng)，MIT的研究小組首先向神經(jīng)網(wǎng)絡(luò)展示了與音頻相關(guān)的視頻幀。在神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)視頻中的對(duì)象并且識(shí)別出特別的音頻之后，AI就會(huì)嘗試預(yù)測(cè)哪一個(gè)對(duì)象跟聲音關(guān)聯(lián)。比方說，招手會(huì)不會(huì)發(fā)出聲音呢？

接下來，研究人員又以相同的形式為算法提供了帶標(biāo)題的圖片，讓它將文字和圖片進(jìn)行匹配。網(wǎng)絡(luò)首先需要單獨(dú)識(shí)別出圖中所有的對(duì)象以及相關(guān)問題，然后才能進(jìn)行匹配。

由于AI獨(dú)立識(shí)別聲音、圖像、文字的能力已經(jīng)十分出色，這種網(wǎng)絡(luò)乍看之下并沒有什么了不起。但研究人員表示，當(dāng)他們對(duì)AI進(jìn)行聲音/圖像、圖像/文字的配對(duì)訓(xùn)練時(shí)，系統(tǒng)就能在未經(jīng)訓(xùn)練指導(dǎo)哪個(gè)單詞與不同聲音匹配的情況下將聲音與文字關(guān)聯(lián)起來。這表明神經(jīng)網(wǎng)絡(luò)對(duì)于所看到的、聽到的或者讀到的東西已經(jīng)形成了更加客觀的看法，而且這種看法的形成并不完全依賴于它用來了解這一信息的媒介。

統(tǒng)籌對(duì)象的觀感、聽覺以及文字后，算法就能自動(dòng)將聽到的東西轉(zhuǎn)化為視覺圖像，從而強(qiáng)化對(duì)于世界的理解。

據(jù)悉，Google也進(jìn)行了類似的研究，不過Google更加強(qiáng)調(diào)一點(diǎn)：新算法還能將文字轉(zhuǎn)化成其他的媒體形式，雖然從準(zhǔn)確率上來說，它暫時(shí)還比不上單用途的算法。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。