雷鋒網(wǎng)注：【 圖片來源：venturebeat  所有者：venturebeat 】

即使是最好的文本解析推薦算法也會(huì)受到一定大小的數(shù)據(jù)集的阻礙。為了提供比大多數(shù)現(xiàn)有方法更快，更好的分類性能，MIT-IBM Watson AI 實(shí)驗(yàn)室和 MIT 的 Geometric Data Processing Group 的團(tuán)隊(duì)設(shè)計(jì)了一種結(jié)合了嵌入式和最優(yōu)傳輸?shù)攘餍腥斯ぶ悄芄ぞ叩募夹g(shù)。

他們認(rèn)為，這個(gè)方法只需要考慮一個(gè)人的歷史偏好，或一群人的偏好，就可以覆蓋數(shù)百萬的可能性。

這項(xiàng)研究的主要作者、麻省理工學(xué)院的助理教授 Justin Solomon 在一份聲明中表示，互聯(lián)網(wǎng)上有大量文字，任何有助于貫穿這些材料的東西都是非常有用的。

為此， Justin Solomon 和他的同事使用算法將文本集合歸納成基于集合中常用單詞的主題。緊接著，它將每個(gè)文本分成 5 到 15 個(gè)最重要的主題，并通過排名顯示每個(gè)主題對(duì)整個(gè)文本的重要性。

另外，嵌入（雷鋒網(wǎng)按，在這種情況下為單詞的數(shù)據(jù)表示形式）有助于使單詞之間的相似性顯而易見，而最佳傳輸則有助于計(jì)算在多個(gè)目的地之間移動(dòng)對(duì)象（或數(shù)據(jù)點(diǎn)）的最有效方式。同時(shí)，嵌入能夠讓“利用兩次最優(yōu)傳輸”成為可能：首先是比較集合中的主題，然后度量公共主題重疊的程度。

研究人員稱，這種方法在掃描大量書籍和文件時(shí)尤其有效。在 Gutenberg Project 數(shù)據(jù)集中的 1720 個(gè)標(biāo)題的評(píng)估工作中，該算法成功地在一秒鐘內(nèi)比較完所有標(biāo)題，比第二名快了近 800 倍。

此外，與其他方法相比，該算法在分類文檔方面做得更好。例如，按作者對(duì)古騰堡數(shù)據(jù)集中的書籍進(jìn)行分組；或是按部門對(duì)亞馬遜上的產(chǎn)品評(píng)論進(jìn)行分組。同時(shí)，該算法還提供了主題列表，能夠向用戶解釋推薦給定文檔的原因，便于用戶理解。

不過，研究人員并未滿足于現(xiàn)有的技術(shù)水平。他們還將繼續(xù)開發(fā)一種端到端的培訓(xùn)技術(shù)，這種技術(shù)可以聯(lián)合優(yōu)化嵌入、主題模型和最優(yōu)傳輸，而不是像當(dāng)前實(shí)現(xiàn)那樣單獨(dú)優(yōu)化。在應(yīng)用方面，他們還希望將他們的方法應(yīng)用于更大的數(shù)據(jù)集，并研究圖像或三維數(shù)據(jù)建模的應(yīng)用。

在論文總結(jié)工作報(bào)告中， Justin Solomon 表示，（我們的算法）捕捉差異的方式似乎與讓一個(gè)人比較兩個(gè)文檔的方式相同：先將每個(gè)文檔分解成容易理解的概念，然后比較概念······

對(duì)于更近一步的想法，Justin Solomon 說道：

讓單詞嵌入提供全局語義語言信息，主題模型提供特定于語料庫的主題和主題分布。從經(jīng)驗(yàn)上看，這些因素結(jié)合在一起，可以在各種基于度量的任務(wù)中提供優(yōu)異的性能。

雷鋒網(wǎng)注：文章編譯自 venturebeat

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。