1
本文作者: 李尊 | 2016-07-20 19:22 |
IBM沃森(Watson)系統(tǒng)來(lái)自于打造了現(xiàn)代IBM的首席執(zhí)行官Thomas Watson Sr,2011年該系統(tǒng)在美國(guó)的電視問(wèn)答節(jié)目Jeopardy!(危險(xiǎn)之旅?。┥蠐魯×藘擅祟?lèi)冠軍選手,從此一戰(zhàn)成名。
Jeopardy!(危險(xiǎn)之旅?。┑谋荣愐砸环N獨(dú)特的問(wèn)答形式進(jìn)行,問(wèn)題設(shè)置的涵蓋面非常廣泛,涉及到歷史、文學(xué)、藝術(shù)、流行文化、科技、體育、地理、文字游戲等等各個(gè)領(lǐng)域。根據(jù)以答案形式提供的各種線索,參賽者必須以問(wèn)題的形式做出簡(jiǎn)短正確的回答。與一般問(wèn)答節(jié)目相反,《危險(xiǎn)邊緣》以答案形式提問(wèn)、提問(wèn)形式作答。參賽者需具備歷 史、文學(xué)、政治、科學(xué)和通俗文化等知識(shí),還得會(huì)解析隱晦含義、反諷與謎語(yǔ)等,而電腦并不擅長(zhǎng)進(jìn)行這類(lèi)復(fù)雜思考。
需要特別提到的是,在比賽中Watson是斷開(kāi)網(wǎng)絡(luò)(offline)的。與AlphaGo同李世石對(duì)戰(zhàn)中不同,Waston只能使用保存在硬盤(pán)中的知識(shí)庫(kù)基本包與擴(kuò)展包作為自己的知識(shí)儲(chǔ)備,和人類(lèi)參賽選手一樣。在這種情況下,沃森在前兩輪中與對(duì)手打平。而在最后一集里,沃森打敗了最高獎(jiǎng)金得主布拉德·魯特爾和連勝紀(jì)錄保持者肯·詹寧斯,奪得第一名。
Waston本質(zhì)上是IBM制造的電腦問(wèn)答(Q&A)系統(tǒng), IBM介紹時(shí)說(shuō)“Waston是一個(gè)集高級(jí)自然語(yǔ)言處理、信息檢索、知識(shí)表示、自動(dòng)推理、機(jī)器學(xué)習(xí)等開(kāi)放式問(wèn)答技術(shù)的應(yīng)用”,并且“基于為假設(shè)認(rèn)知和大規(guī)模的證據(jù)搜集、分析、評(píng)價(jià)而開(kāi)發(fā)的DeepQA技術(shù)”。雖然采用了深度學(xué)習(xí)中一些技術(shù)如遷移學(xué)習(xí) (Transfer Learning)來(lái)解決一些問(wèn)題,但與AlphaGo不同,它并不是完全采用深度學(xué)習(xí)技術(shù)的人工智能。它的主體思路并非深度學(xué)習(xí),而是更接近心智社會(huì)(Society of Mind)。
在剛剛閉幕的IJCAI2016會(huì)議上,倫斯勒理工學(xué)院教授James Hendler受邀演講詳細(xì)介紹了IBM Waston的工作原理。
將沃森設(shè)想為一間環(huán)形辦公室走廊,每一間辦公室都有一群人做著特殊的工作,讓我們從頭來(lái)梳理整個(gè)運(yùn)行過(guò)程。
問(wèn)題輸入(QUESTION IN)
問(wèn)題分析 (Question Analysis)
這個(gè)問(wèn)題什么意思?
我們?cè)谡沂裁矗?/p>
還存在其他有效信息么?
問(wèn)題中有沒(méi)有詞語(yǔ)提到問(wèn)題中的其他詞語(yǔ)?
在這一環(huán)節(jié),DeepQA嘗試去理解問(wèn)題,搞清楚問(wèn)題到底在問(wèn)什么,同時(shí)做一些初步的分析來(lái)決定選擇哪種方法來(lái)應(yīng)對(duì)這個(gè)問(wèn)題。
初步搜索 Primary Search
在數(shù)據(jù)庫(kù)中能不能找到或許跟這個(gè)問(wèn)題有關(guān)的文件?
找到了多少文件?
這些文件從哪里來(lái)的?
搜索結(jié)果處理并生成備選答案 Search Result Processing and Candidate Answer Generation
在這些文件中,有這個(gè)問(wèn)題可能的答案么?
有多少個(gè)備選答案?
當(dāng)問(wèn)一個(gè)問(wèn)題時(shí),一份文檔打開(kāi)了。文檔在辦公室中不斷移動(dòng)時(shí),更多信息被添加進(jìn)去了。
上下文無(wú)關(guān)回答得分 Context-Independent Answer Scoring
這個(gè)選擇有可能是正確的答案嗎?
這個(gè)選擇是正確的答案形式嗎?
軟濾波 Soft Filtering
有哪些選擇是明顯錯(cuò)誤的?
如果是的話,能不能讓它們?cè)诤竺娴奶幚磉^(guò)程中不占太多的時(shí)間?
每個(gè)可能的回答都被給定一個(gè)分?jǐn)?shù),給出這個(gè)證據(jù)對(duì)備選答案支持得到底有多好。
支持證據(jù)檢索 Supporting Evidence Retrieval
能在數(shù)據(jù)庫(kù)中找到任何能夠證明某個(gè)選擇答案是正確的信息嗎?
對(duì)每個(gè)選擇來(lái)說(shuō)有多少信息在哪?
搜索結(jié)果處理和上下文無(wú)關(guān)得分 Search Result Processing and Context Dependent Scoring
選擇工作作為問(wèn)題回答怎么樣?
現(xiàn)在有更多的信息,能給每個(gè)選擇什么分?jǐn)?shù)?
最終合并并排名 Final Merging and Ranking
還有任何能夠改變分?jǐn)?shù)的額外信息嗎?
每個(gè)選擇的總分是多少?
哪個(gè)選擇分?jǐn)?shù)最高?
分?jǐn)?shù)第二高的選擇是什么?
DeepQA也觀察到了這種現(xiàn)象:不同的表面形式通常會(huì)被不同的證據(jù)支持,并得到完全不同但潛在互補(bǔ)的分?jǐn)?shù),這產(chǎn)生了一種方法:將答案分?jǐn)?shù)在排名和信心計(jì)算之前先合并掉。
輸出答案 ANSWER OUT
有用的最高分答案被返回,然后沃森嘗試判斷從它做的多好(或者多壞)中進(jìn)行學(xué)習(xí)。
以上即為waston工作的基本原理,在后面的演講中James Hendler教授還提到了沃森是基于“關(guān)聯(lián)知識(shí)”構(gòu)筑而成的,其實(shí)現(xiàn)過(guò)程如下。
解析問(wèn)題文本
生成查詢(xún)請(qǐng)求
搜索可能答案 (假說(shuō))
假設(shè)1-m
解析假說(shuō)文本
生成查詢(xún)請(qǐng)求
搜索證據(jù)
證據(jù)1.1-1.m
解析證據(jù)文本
證據(jù)評(píng)分
結(jié)合證據(jù)并對(duì)假設(shè)1評(píng)分
通過(guò)解讀措辭含糊的問(wèn)題并通過(guò)其通用知識(shí)數(shù)據(jù)庫(kù)搜尋答案,沃森展示了理解自然語(yǔ)言的能力,而這正是計(jì)算機(jī)所需要攻克的最困難的難題之一。這似乎預(yù)示著計(jì)算機(jī)不久之后就能真正“理解”復(fù)雜信息并與人類(lèi)交談了,甚至還可能繼續(xù)發(fā)展以至于在大部分人類(lèi)專(zhuān)有領(lǐng)域超越人類(lèi)。
沃森集成了上百種算法從不同的維度分析備選假設(shè)的證據(jù),如類(lèi)型、時(shí)間、空間、流行度、段落支持度、來(lái)源可靠度、語(yǔ)義相關(guān)度等。每種分析都產(chǎn)生一些特征或評(píng)分,反映了在相應(yīng)的維度上證據(jù)對(duì)備選答案的支持程度。如果在最終系統(tǒng)中去掉任何單個(gè)評(píng)分器,在上千個(gè)問(wèn)題的測(cè)試集上都不會(huì)造成顯著的影響,實(shí)際上沒(méi)有一個(gè)評(píng)分器產(chǎn)生的影響超過(guò)1%。但組合起來(lái),沃森在回答40%-70%的問(wèn)題時(shí),達(dá)到了92%的平均精度。
James Hendler教授在演講中還提到最近幾個(gè)重要技術(shù)壁壘被突破,像深度學(xué)習(xí)(機(jī)器學(xué)習(xí))、認(rèn)知計(jì)算、語(yǔ)義網(wǎng)絡(luò)(知識(shí)圖譜)方面都有又一次為AI帶來(lái)高的關(guān)注度。他另外還提到,Waston系統(tǒng)目前已經(jīng)開(kāi)始進(jìn)軍醫(yī)療行業(yè),結(jié)合之前提到的AlphaGo也有意在這一行業(yè)發(fā)光發(fā)熱,我們會(huì)看到這兩者一較高下么?請(qǐng)拭目以待。
via James Hendler
PS : 本文由雷鋒網(wǎng)獨(dú)家編譯,未經(jīng)許可拒絕轉(zhuǎn)載!
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。