一直來(lái)到實(shí)叻坡，乜事無(wú)。上山來(lái)做工，伯公“多隆”保平安?！敝葸^(guò)番歌

所謂“過(guò)番”，指早期潮州人外出務(wù)工，乘坐小船歷經(jīng)七天七夜到達(dá)東南亞謀生，“實(shí)叻坡”是馬來(lái)語(yǔ)“Selat”的音譯詞，便是指“新加坡”。上世紀(jì)，從中國(guó)東南一帶移民至新加坡的華人中，福建人最多，其次就是潮州人。

新加坡華人學(xué)者李海洲回憶：

他在潮汕地區(qū)的一個(gè)小漁村長(zhǎng)大，從小聽(tīng)聞“石叻坡”；沒(méi)有上過(guò)小學(xué)，13歲前只會(huì)說(shuō)潮州話(huà)，沒(méi)想到長(zhǎng)大后卻精通普通話(huà)、廣東話(huà)、英文與法文等多門(mén)語(yǔ)言，來(lái)到這座世界知名獅城，成為全球研究多語(yǔ)種語(yǔ)音與語(yǔ)言識(shí)別的先行者，入選 IEEE Fellow，多少有些不可思議。

作為全球知名的語(yǔ)音與語(yǔ)言處理專(zhuān)家，李海洲在工業(yè)界與學(xué)術(shù)界均頗有耕耘。早于深度學(xué)習(xí)興起30年前，他便開(kāi)始用神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)音識(shí)別?？v橫學(xué)海四十年，李海洲見(jiàn)證了神經(jīng)網(wǎng)絡(luò)從無(wú)人問(wèn)津到風(fēng)靡一時(shí)。

在新的人物系列“Fellow來(lái)了”中，我們邀請(qǐng)了新加坡國(guó)立大學(xué)教授、快商通首席科學(xué)家李海洲作為第一位嘉賓，與我們分享了他的研究經(jīng)歷。

作者 | 陳彩嫻

1

80年代大學(xué)生

當(dāng)年去廣州讀大學(xué)，乃至后來(lái)遠(yuǎn)渡重洋，臨行前，我父親都只能給一句簡(jiǎn)短的安慰：“我沒(méi)法資助你。如果外面情況不好，就回來(lái)吧！”

從1994年離家至今，潮州學(xué)者李海洲已在海外生活近三十年。在接受新加坡潮州八邑會(huì)館《潮人故事》的系列采訪(fǎng)時(shí)，他回憶上世紀(jì)獨(dú)身在外拼搏，從潮州小漁村到廣州讀書(shū)，又從廣州去法國(guó)、法國(guó)到新加坡，恍如隔世。

文革前夕，他在中國(guó)潮安古鎮(zhèn)的一所百年老屋中出生，之后隨父母遷居汕頭外海的南澳島。由于島上生活貧瘠，沒(méi)有學(xué)校，與陸地之間的交通又不便利，所以他小時(shí)候沒(méi)有機(jī)會(huì)上學(xué)。所幸母親有些書(shū)本供他翻閱、學(xué)習(xí)認(rèn)字。

李海洲在南澳島度過(guò)了他的童年，極少與外界交流，所識(shí)語(yǔ)言只有家鄉(xiāng)的潮州話(huà)。他記得，在他13歲開(kāi)始上學(xué)時(shí)，因?yàn)闆](méi)有學(xué)過(guò)普通話(huà)，所講的國(guó)語(yǔ)常常成為同學(xué)的笑柄。

但少年時(shí)期的李海洲念書(shū)十分用功：

奶奶總是提醒我，你要讀書(shū)，要考到好成績(jī)，不然以后倒垃圾的工作都不會(huì)輪到你。

他拼命學(xué)習(xí)，考上潮安第一中學(xué)（現(xiàn)為潮州金山中學(xué)），又在15歲那年以?xún)?yōu)異的成績(jī)考上了廣州華南理工大學(xué)（以下簡(jiǎn)稱(chēng)“華工”）無(wú)線(xiàn)電工程系。當(dāng)時(shí)，文革結(jié)束不久，高考恢復(fù)不過(guò)3年，教育制度還未健全，入學(xué)標(biāo)準(zhǔn)只憑考試成績(jī)，而不限制年齡。

于是，1980年，16歲的潮州少年李海洲又孤身一人，乘坐大巴，從潮州來(lái)到了廣州。他記得，那時(shí)候，父親的月薪只有人民幣50元，并不能為他的遠(yuǎn)游提供太多經(jīng)濟(jì)上的資助。在華工讀書(shū)時(shí)，每個(gè)冬天，他都是洗冷水澡。但李海洲很樂(lè)觀(guān)：“我洗冷水澡時(shí)，一定會(huì)大聲唱歌，因?yàn)槌璧囊粋€(gè)功效便是減少痛感?！?/span>

圖注：大學(xué)時(shí)代的李海洲

那時(shí)候，雖然生活條件艱苦，但李海洲稱(chēng)，在華工的讀書(shū)時(shí)光是他最重要的成長(zhǎng)階段。他在母校收獲了刻苦耐勞、動(dòng)手實(shí)干的工程師特質(zhì)與大學(xué)精神。在這段樸素而純粹的流金歲月里，他以苦為樂(lè)，全身心投入專(zhuān)業(yè)知識(shí)學(xué)習(xí)，取得了優(yōu)異成績(jī)。

李海洲從小就對(duì)智能機(jī)器十分著迷，高中時(shí)在物理老師謝甲明的指導(dǎo)下迷上了無(wú)線(xiàn)電。本科時(shí)，他努力學(xué)習(xí)無(wú)線(xiàn)電相關(guān)的專(zhuān)業(yè)知識(shí)，畢業(yè)那年考取了時(shí)任華南工學(xué)院副院長(zhǎng)、著名電子學(xué)家徐秉錚教授的碩士研究生（通信與電子系統(tǒng)方向），在徐秉錚的門(mén)下學(xué)習(xí)語(yǔ)音處理。

碩士期間，李海洲在數(shù)字信號(hào)處理技術(shù)領(lǐng)域多次發(fā)表學(xué)術(shù)論文，其中，“基于音素的普通話(huà)孤立字、詞的不認(rèn)人識(shí)別”獲得了廣東省高教科技進(jìn)步二等獎(jiǎng)，成為了徐秉錚的得意門(mén)生。

1987年夏天，即將碩士畢業(yè)時(shí)，徐秉錚舉薦李海洲去參加了香港大學(xué)陳礎(chǔ)堅(jiān)教授（香港首位從事語(yǔ)音識(shí)別研究的學(xué)者）在廣州開(kāi)設(shè)的暑期班。李海洲還記得，當(dāng)時(shí)在第一節(jié)課上，陳礎(chǔ)堅(jiān)就對(duì)著臺(tái)下的學(xué)生說(shuō)：

大家要仔細(xì)聽(tīng)講喲，兩周后參加考試，成績(jī)優(yōu)異的學(xué)生會(huì)有機(jī)會(huì)去香港實(shí)驗(yàn)室深造。

李海洲十分努力，兩個(gè)星期后，他在一眾學(xué)生中突圍而出，成為了少數(shù)入選華南理工大學(xué)與香港大學(xué)聯(lián)合培養(yǎng)博士研究生的幸運(yùn)兒，拜師陳礎(chǔ)堅(jiān)門(mén)下，繼續(xù)研究語(yǔ)音處理學(xué)。

那時(shí)，香港還未回歸，去香港讀書(shū)比出國(guó)還難。李海洲印象深刻：“我去了香港后，有一年國(guó)慶節(jié)，新華社邀請(qǐng)?jiān)诟圩x書(shū)的內(nèi)地學(xué)生就餐，整個(gè)香港只有20個(gè)內(nèi)地學(xué)生。”

圖注：香港大學(xué)主樓

在港讀博期間，李海洲完成了香港政府資助的“語(yǔ)音靜態(tài)模型”研究項(xiàng)目。他的博士論文“語(yǔ)音的靜態(tài)模型及漢語(yǔ)語(yǔ)音識(shí)別算法的研究”因其創(chuàng)新的視角與扎實(shí)的理論基礎(chǔ)，不僅得到了電子研究同行的一眾好評(píng)，還獲得了知名數(shù)學(xué)家梁之舜（國(guó)內(nèi)最早研究概率統(tǒng)計(jì)學(xué)的學(xué)者之一）的高度評(píng)價(jià)。

值得注意的是，早在深度學(xué)習(xí)興起之前，李海洲這篇發(fā)表于上世紀(jì)90年代的博士論文已經(jīng)用到了神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別算法。但當(dāng)時(shí)，用神經(jīng)網(wǎng)絡(luò)識(shí)別語(yǔ)音的技術(shù)在國(guó)內(nèi)并不受推崇，“我1990年博士畢業(yè)時(shí)都找不到工作”。

他分析，原因主要有兩點(diǎn)：一是當(dāng)時(shí)的電腦計(jì)算能力沒(méi)有現(xiàn)在這么強(qiáng)，比如，在他的博士論文結(jié)果中，電腦只能識(shí)別 10 個(gè)數(shù)字；二是當(dāng)時(shí)的電腦價(jià)格非常昂貴，相當(dāng)于一個(gè)大學(xué)教授幾個(gè)月的薪水。如此一來(lái)，高成本、低回報(bào)，這項(xiàng)技術(shù)自然就遭到了冷落。

后來(lái)，在徐秉錚的幫助下，李海洲獲得了留校任教的機(jī)會(huì)。雖然當(dāng)時(shí)智能語(yǔ)音識(shí)別研究不受推崇，但李海洲堅(jiān)持自己的熱愛(ài)：“我就覺(jué)得，計(jì)算機(jī)能聽(tīng)懂我說(shuō)的話(huà)，真的太神奇了！”于是，他與導(dǎo)師徐秉錚繼續(xù)沿著這個(gè)方向探索。

比如，他們發(fā)表于1991年的工作“An implementation of short-timed speech recognition on layered neural nets”就開(kāi)始嘗試引入神經(jīng)網(wǎng)絡(luò)架構(gòu)與學(xué)習(xí)算法來(lái)實(shí)現(xiàn)多層感知器（MLP）上的孤立詞識(shí)別，同年工作“A learning algorithm for MLN with dynamic neurons”又嘗試訓(xùn)練具有多局部反饋的動(dòng)態(tài)神經(jīng)元的多層網(wǎng)絡(luò)架構(gòu)，使其記憶序列模式，用來(lái)進(jìn)行中文數(shù)字語(yǔ)音識(shí)別。

回想那段無(wú)人問(wèn)津的研究歲月，李海洲的感受是：“我覺(jué)得自己很幸運(yùn)，因?yàn)樵谏疃葘W(xué)習(xí)冷門(mén)的時(shí)候，我就開(kāi)始研究。只是當(dāng)時(shí)條件有限，但后來(lái)數(shù)據(jù)增多，深度學(xué)習(xí)就顯示出了它的強(qiáng)大。我從中得到的體會(huì)就是，要喜歡自己的研究，然后堅(jiān)持。如果你又喜歡、又專(zhuān)注，你也有能力，那你的研究遲早會(huì)有用。”

 

2

多語(yǔ)種研究

我是從漁村里走出來(lái)的窮小子，沒(méi)上過(guò)小學(xué)。16歲剛上大學(xué)時(shí)，我連英語(yǔ)“早安”（Good Morning）都不會(huì)說(shuō)。

從1990年博士畢業(yè)至今，這30多年里，李海洲堅(jiān)持自己做語(yǔ)音識(shí)別與語(yǔ)言處理的方法。他一直認(rèn)為，機(jī)器學(xué)習(xí)的基礎(chǔ)理論不僅支持了機(jī)器的識(shí)別工作，而且也是人學(xué)習(xí)語(yǔ)音與語(yǔ)言的過(guò)程；也就是說(shuō)，人的學(xué)習(xí)也是一個(gè)“機(jī)器學(xué)習(xí)”過(guò)程，只是學(xué)習(xí)的主體不是電腦，而是人腦：

“人學(xué)習(xí)的過(guò)程也是通過(guò)大數(shù)據(jù)進(jìn)行學(xué)習(xí)，從聽(tīng)人如何發(fā)音，到一個(gè)音、一個(gè)音地學(xué)習(xí)，然后學(xué)會(huì)了一種語(yǔ)言，再將第一種語(yǔ)言的知識(shí)轉(zhuǎn)移到第二種語(yǔ)言中去?！?/span>

這個(gè)觀(guān)點(diǎn)來(lái)源于李海洲本人學(xué)習(xí)多種語(yǔ)言的親身經(jīng)歷。

李海洲的母語(yǔ)是潮州話(huà)，上了中學(xué)后開(kāi)始學(xué)習(xí)普通話(huà)?！?/span>那時(shí)候我覺(jué)得學(xué)普通話(huà)很難很難，但是，當(dāng)我學(xué)習(xí)第三種語(yǔ)言、第四種語(yǔ)言、第五種語(yǔ)言時(shí)，我就覺(jué)得沒(méi)那么難了，因?yàn)槲乙呀?jīng)有了學(xué)習(xí)語(yǔ)言的方法。機(jī)器學(xué)習(xí)就是這樣，從一個(gè)地方學(xué)來(lái)的東西可以拿給第二個(gè)地方用，所以我對(duì)機(jī)器學(xué)習(xí)特別有興趣?！?/span>

上初中時(shí)，他只學(xué)會(huì)一句英語(yǔ)，就是“Long Live Chairman Mao”，升高中后多了一句“Never forget class struggle”。所幸，英語(yǔ)在1981年之后才被列為高考的必考科目，而李海洲十分幸運(yùn)，因?yàn)樗麉⒓拥氖?980年高考。

讀博期間，李海洲的大部分時(shí)光都是在香港度過(guò)。那時(shí)候，他才有機(jī)會(huì)學(xué)習(xí)英文；此前，他連“Good Morning”都聽(tīng)不懂。也是在那時(shí)候，李海洲開(kāi)始學(xué)講廣東話(huà)，他的感受是：“廣東話(huà)最難學(xué)，因?yàn)闆](méi)有課本?！?/span>

博士畢業(yè)后，1991年，李海洲加入華南理工大學(xué)任教，年僅26歲就被華工評(píng)為副教授；一年后，也就是1992年，又被破格提升為教授，擔(dān)任博士生導(dǎo)師，成為了全廣東省最年輕的博導(dǎo)。

但李海洲并沒(méi)有安于現(xiàn)狀，1994年，他又在法國(guó)國(guó)家科學(xué)院的邀請(qǐng)下，去法國(guó)國(guó)家科學(xué)研究中心（CNRS）擔(dān)任研究員，從事語(yǔ)音識(shí)別研究，并開(kāi)始涉獵聲紋識(shí)別。

在法國(guó)的三年，李海洲駐在“洛林之魂”南錫（Nancy）。出發(fā)前，他已在廣州學(xué)了一年法文。到了南錫之后，他又幾乎每晚都跑去“阿爾及利亞人之家”學(xué)法文。這是一個(gè)專(zhuān)門(mén)協(xié)助阿爾及利亞人學(xué)法文的機(jī)構(gòu)，無(wú)需學(xué)費(fèi)，學(xué)員只需在冬天時(shí)付點(diǎn)柴火費(fèi)。他們沒(méi)有拒絕李海洲的加入，他也去了足足一年，總算打好法文基礎(chǔ)。

圖注：法國(guó)南錫

1996年，受到新加坡多元語(yǔ)言與文化氛圍的吸引，李海洲又應(yīng)聘到了蘋(píng)果公司新加坡研究中心擔(dān)任語(yǔ)音處理實(shí)驗(yàn)室主任。之后，他便一直留在新加坡，先后任職于蘋(píng)果、Lernout & Hauspie、言豐科技、新加坡資訊通信研究院（A*STAR），直到2014年重返學(xué)術(shù)界，加入新加坡國(guó)立大學(xué)電氣與計(jì)算機(jī)工程系擔(dān)任終身教授。

如今，李海洲熟練掌握潮州話(huà)、普通話(huà)、廣東話(huà)、英語(yǔ)和法語(yǔ)，能應(yīng)付工作需要的語(yǔ)言還有越南語(yǔ)、泰國(guó)語(yǔ)、馬來(lái)語(yǔ)、日語(yǔ)和韓語(yǔ)。

有感于自身學(xué)習(xí)語(yǔ)言的經(jīng)歷，在教機(jī)器學(xué)習(xí)時(shí)，李海洲總是強(qiáng)調(diào)“先了解人是如何學(xué)習(xí)的，然后再告訴機(jī)器應(yīng)該怎樣學(xué)習(xí)”。這是他多年來(lái)的研究心得，即把人的認(rèn)知過(guò)程放在機(jī)器學(xué)習(xí)的研究上。從這一思路出發(fā)，李海洲團(tuán)隊(duì)在語(yǔ)音識(shí)別與語(yǔ)言處理上取得了許多不錯(cuò)的研究成果。

比如，最近他們被頂刊 TASLP 錄用的工作（“Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech”）便是來(lái)源于對(duì)人們?nèi)粘＝涣鞣绞降挠^(guān)察，從“雙向認(rèn)知過(guò)程”來(lái)做語(yǔ)音識(shí)別與對(duì)話(huà)系統(tǒng)。

在人類(lèi)的交流中，當(dāng) A 在聽(tīng) B 說(shuō)話(huà)時(shí)，無(wú)論旁邊有多少雜音、B 說(shuō)話(huà)的聲音多小，A 只需要專(zhuān)注聽(tīng)，就一定能聽(tīng)到 B 的說(shuō)話(huà)聲，因?yàn)槿四X可以“指揮”耳朵聽(tīng)什么、不聽(tīng)什么。但現(xiàn)在的機(jī)器在識(shí)別目標(biāo)語(yǔ)者時(shí)，性能并不穩(wěn)定。有時(shí)候，如果兩三個(gè)人在一起同時(shí)說(shuō)話(huà)，電腦就無(wú)法識(shí)別。

“我就研究，人在復(fù)雜的環(huán)境中是怎么聽(tīng)的，任何把這個(gè)過(guò)程放在機(jī)器里?！崩詈Ｖ拚劦?。在 TASLP 這個(gè)工作中，受 SpEx 等工作的啟發(fā)，他們就在機(jī)器識(shí)別中引入了聽(tīng)覺(jué)注意力機(jī)制，提出了目標(biāo)語(yǔ)者驗(yàn)證（tSV）框架，可以在多語(yǔ)者環(huán)境中有效識(shí)別目標(biāo)語(yǔ)音。

地址：https://arxiv.org/abs/2103.16269

對(duì)研究思路的指導(dǎo)還是其次，多語(yǔ)言背景對(duì)李海洲最重要的影響是使他成為了多語(yǔ)種語(yǔ)音識(shí)別研究的先行者。他在2014年被選為 IEEE Fellow，入選理由便是“For leadership in multilingual speaker and language recognition”（引領(lǐng)多語(yǔ)種語(yǔ)音與語(yǔ)言識(shí)別研究）。

早期的語(yǔ)音識(shí)別局限于英文，而李海洲的工作不僅覆蓋英語(yǔ)，還有中文、馬來(lái)文、韓語(yǔ)、日語(yǔ)、泰文、越南語(yǔ)等等?！叭嗽诜终Z(yǔ)言時(shí)，是人為分割，其實(shí)是同一雙耳朵、同一個(gè)大腦。我的理念是用同一套系統(tǒng)（多語(yǔ)種大詞匯集連續(xù)語(yǔ)音識(shí)別系統(tǒng)）來(lái)實(shí)現(xiàn)多種語(yǔ)言識(shí)別，而不用重復(fù)開(kāi)發(fā)?！?/span>

回顧研究生涯，李海洲最自豪的是，2001年，他所開(kāi)發(fā)的多語(yǔ)種語(yǔ)音自動(dòng)問(wèn)答系統(tǒng)在新加坡樟宜國(guó)際機(jī)場(chǎng)投入使用。這個(gè)系統(tǒng)每天可以處理超過(guò)一萬(wàn)個(gè)查詢(xún)電話(huà)，是當(dāng)時(shí)東南亞最大的全自動(dòng)客戶(hù)呼叫中心?！俺鲎廛?chē)司機(jī)非常喜歡這項(xiàng)工作，因?yàn)樗麄冎恍钃艽螂娫?huà)，就能知道航班信息，知道什么時(shí)候出發(fā)去機(jī)場(chǎng)?！崩詈Ｖ抟惨虼双@得2002年新加坡國(guó)家資信科技獎(jiǎng)。

2018年，他又與南洋理工大學(xué)的 Chng Eng Siong 教授合作開(kāi)發(fā)了專(zhuān)門(mén)用于處理新加坡 995 緊急熱線(xiàn)的多語(yǔ)種通話(huà)自動(dòng)處理系統(tǒng)，可以實(shí)時(shí)轉(zhuǎn)換并記錄每個(gè)電話(huà)，根據(jù)來(lái)電內(nèi)容進(jìn)行資源調(diào)度。這個(gè)系統(tǒng)覆蓋了多種東南亞語(yǔ)言，還可以識(shí)別閩南語(yǔ)中的“jiak ba bueh”（你吃過(guò)了嗎）和“hoh boh”（你好嗎），以及炒粿條和椰漿飯等當(dāng)?shù)夭穗取?/span>

2015年，李海洲當(dāng)選為國(guó)際語(yǔ)音通信學(xué)會(huì)（International Speech Communication Association，簡(jiǎn)稱(chēng)“ISCA”）的主席。他也是ISCA自1988年在法國(guó)格勒諾布爾成立以來(lái)的首位華人主席。ISCA是語(yǔ)音技術(shù)領(lǐng)域最重要的國(guó)際頂會(huì)，李海洲相信，他能從2009年開(kāi)始在 ISCA 任職，從理事到候任主席、再到主席，一個(gè)很重要的原因就是他精通法語(yǔ)。

圖注：2015年，李海洲被任命為 ISCA 主席

除了 ISCA 主席，他還曾憑借出色的英文能力，擔(dān)任了 IEEE/ACM Transactions on Audio, Speech and Language Processing（美國(guó)研究和實(shí)踐音頻、語(yǔ)音和語(yǔ)言處理理論最權(quán)威的學(xué)術(shù)月刊）的總編輯、

回想自己從一個(gè)小漁村出來(lái)，遠(yuǎn)渡重洋，輾轉(zhuǎn)多地，李海洲十分感慨。他剛上大學(xué)時(shí)，是一個(gè)連“Good Morning”都不會(huì)說(shuō)的潮州仔，沒(méi)想到后來(lái)卻能憑借出色的外文能力，在國(guó)際學(xué)術(shù)刊物與頂會(huì)上擔(dān)任要職。

 

3

研究情懷：實(shí)用主義

我在中國(guó)出生長(zhǎng)大，后來(lái)出了國(guó)。出國(guó)以后，人家經(jīng)常問(wèn)我：你的研究興趣是什么？被人家問(wèn)了一輩子。從來(lái)沒(méi)有人問(wèn)我：你的工作是什么？

縱橫學(xué)海四十年，李海洲常常被提問(wèn)到一個(gè)問(wèn)題：“研究語(yǔ)音這么多年，您如何保持做科研的熱情？”每一次，他的內(nèi)心都閃過(guò)無(wú)數(shù)問(wèn)號(hào)，忍不住 OS：“除了是因?yàn)榕d趣，還能是什么？”

在他博士畢業(yè)那會(huì)，雖然電子計(jì)算機(jī)與信息技術(shù)已開(kāi)始騰飛，但因?yàn)樗芯康姆较蛱溟T(mén)前沿，李海洲拿著一張計(jì)算機(jī)博士學(xué)位的文憑，都找不到工作。但他很喜歡自己的研究方向，“我覺(jué)得我跟機(jī)器交流，它能識(shí)別我說(shuō)的話(huà)，就像變魔術(shù)一樣，很有成就感。”所以，即使沒(méi)有得到肯定，他也能堅(jiān)持做下去。

后來(lái)，他加入企業(yè)做研究，先后研發(fā)了蘋(píng)果電腦中文輸入系統(tǒng)、全球首款聲紋解鎖智能手機(jī)（百度云手機(jī)聯(lián)想A586）、百度音樂(lè)“聽(tīng)歌識(shí)曲”等成果。A586在2012年推出，被譽(yù)為百度在人工智能領(lǐng)域的超前布局之一，李海洲回國(guó)，在街上看到有人使用他的聲紋識(shí)別技術(shù)解鎖，心里特別開(kāi)心。

“這種成就感與金錢(qián)無(wú)關(guān)。我自己是認(rèn)為，有人愿意給我發(fā)薪水，讓我做我自己喜歡的東西，就是雙倍的回報(bào)。”李海洲談道，他崇尚“Use inspires research”（用途驅(qū)動(dòng)研究），最大的愿望是能夠?qū)⑺鶎W(xué)的知識(shí)工程化，最終順利在現(xiàn)實(shí)中落地。

從1996年到2014年期間，李海洲一直在工業(yè)界活動(dòng)。2014年重返學(xué)術(shù)界、在新加坡國(guó)立大學(xué)擔(dān)任終身教授后，在培養(yǎng)學(xué)生時(shí)，他也總是強(qiáng)調(diào)：研究的課題必須來(lái)自實(shí)際需求；寫(xiě)一篇文章，就要解決一個(gè)問(wèn)題。

在語(yǔ)音研究上，他的最終目標(biāo)是希望機(jī)器能像人一樣完成語(yǔ)音相關(guān)的任務(wù)。當(dāng)對(duì)話(huà)系統(tǒng)在與你交流時(shí)，你分不清“它”是人還是機(jī)器；機(jī)器在聽(tīng)音時(shí)，無(wú)論環(huán)境多嘈雜，你都能準(zhǔn)確識(shí)別目標(biāo)者的聲音。

圖注：2013年，李海洲（左）獲得“新加坡總統(tǒng)科技獎(jiǎng)”（新加坡科學(xué)與科技領(lǐng)域的最高榮譽(yù)）

雖然已返回學(xué)術(shù)界，但李海洲仍然十分關(guān)心工業(yè)界的實(shí)際問(wèn)題。因此，2018年，李海洲又與廈門(mén)快商通科技股份有限公司（以下簡(jiǎn)稱(chēng)“快商通”）建立了研究合作關(guān)系，在快商通擔(dān)任首席科學(xué)家。

關(guān)于學(xué)者與業(yè)界合作，李海洲的體會(huì)是：

“與業(yè)界合作的一大好處是，他們每天都有很多問(wèn)題。你不一定要幫助他們解決每一個(gè)問(wèn)題，但通過(guò)了解這些問(wèn)題，你可以總結(jié)出一些共同的根源，然后從中定義研究問(wèn)題，從而將知識(shí)與業(yè)績(jī)相結(jié)合?！?/span>

對(duì)比從前合作過(guò)的企業(yè)，李海洲認(rèn)為，快商通最大的特點(diǎn)是有一個(gè)大的用戶(hù)群?！拔矣X(jué)得這對(duì)做機(jī)器學(xué)習(xí)的研究是不可缺少的，因?yàn)槟惚仨氁写罅康目蛻?hù)群，才能了解客戶(hù)的需求，然后從這里出發(fā)，找到科學(xué)問(wèn)題，改進(jìn)服務(wù)。”

快商通的主要業(yè)務(wù)是打造智能對(duì)話(huà)系統(tǒng)。

1999年至2001年期間，李海洲也曾與比利時(shí)企業(yè) Lernout & Hauspie 合作，希望打造一臺(tái)先進(jìn)的對(duì)話(huà)系統(tǒng)。但在與 L&H 合作時(shí)，智能對(duì)話(huà)系統(tǒng)的商用仍處于起步階段，他們花一年時(shí)間做一個(gè)系統(tǒng)，然后推出去讓用戶(hù)體驗(yàn)，收集數(shù)據(jù)，再根據(jù)反饋來(lái)改進(jìn)系統(tǒng)，給他的感覺(jué)是“閉門(mén)造車(chē)”，難有成果。

相比之下，快商通的優(yōu)勢(shì)是與客戶(hù)有直接互動(dòng)，客戶(hù)數(shù)量也更多，他們可以花幾個(gè)月搭建一個(gè)系統(tǒng)、同時(shí)與用戶(hù)保持密切交流，再根據(jù)用戶(hù)數(shù)據(jù)來(lái)改進(jìn)系統(tǒng)。

結(jié)合自己以往在中小企業(yè)與大企業(yè)的工作經(jīng)驗(yàn)，以及在高校做研究的專(zhuān)業(yè)知識(shí)，李海洲為快商通制定了一項(xiàng)研究計(jì)劃，叫“大齒輪-中齒輪-小齒輪”。他總結(jié)，一個(gè)科技企業(yè)能夠成功，模式就是像一個(gè)小齒輪箱一樣，最中間有一個(gè)轉(zhuǎn)得慢的大齒輪，旁邊有幾個(gè)中齒輪，然后外面有很多轉(zhuǎn)得飛快的小齒輪：

“小齒輪是面向客戶(hù)的，每天要完成很快的任務(wù)；中齒輪是要把大齒輪的力量給傳遞出去；大齒輪就是公司的長(zhǎng)遠(yuǎn)科研。它必須慢慢轉(zhuǎn)，像大學(xué)里的科研一樣必須有積累。所以我強(qiáng)調(diào)，公司每做一個(gè)項(xiàng)目，都必須有技術(shù)積累，然后越做越大。也就是大齒輪的力氣就越來(lái)越大，可以帶動(dòng)很多中齒輪跟小齒輪。大齒輪的儲(chǔ)能不是一日形成的?！?/span>

在李海洲的幫助下，快商通在對(duì)話(huà)系統(tǒng)研究上取得了一系列成就。比如，在語(yǔ)音識(shí)別方面，快商通目前的技術(shù)可以實(shí)現(xiàn)高準(zhǔn)確率和不同口音識(shí)別。與市面上多種語(yǔ)言對(duì)話(huà)需進(jìn)行系統(tǒng)切換的對(duì)話(huà)系統(tǒng)不同，快商通可以在同一系統(tǒng)內(nèi)達(dá)到多語(yǔ)言切換。在自然語(yǔ)言處理方面，快商通在多輪對(duì)話(huà)系統(tǒng)的性能提升和評(píng)估方面也實(shí)現(xiàn)了新的技術(shù)突破，他們的工作（“DynaEval: Unifying Turn and Dialogue Level Evaluation”）被 ACL 2021 收錄。

地址：https://arxiv.org/pdf/2106.01112.pdf

在李海洲的指導(dǎo)下，快商通已經(jīng)完成對(duì)話(huà)機(jī)器人底層邏輯的重新構(gòu)建，突破標(biāo)準(zhǔn)化產(chǎn)品模式，推出智能人機(jī)對(duì)話(huà)平臺(tái)KICP，支持0代碼、低成本、小樣本創(chuàng)建智能對(duì)話(huà)。從供給側(cè)來(lái)說(shuō)，KICP可極大減少快商通的定制開(kāi)發(fā)成本與后續(xù)運(yùn)維投入；從需求側(cè)來(lái)說(shuō)，客戶(hù)可基于需求特點(diǎn)與業(yè)務(wù)邏輯自主搭建，使產(chǎn)品更貼合自身想法。

此外，李海洲談到，他希望能夠與快商通合作，實(shí)現(xiàn)每一單獨(dú)系統(tǒng)均服務(wù)百萬(wàn)以上的客戶(hù)群，“當(dāng)100萬(wàn)個(gè)用戶(hù)同時(shí)來(lái)咨詢(xún)時(shí)，系統(tǒng)必須能夠?qū)崟r(shí)響應(yīng)?！?/span>

 

4

寫(xiě)在最后

我覺(jué)得這個(gè)方向還可以研究50年。

談到語(yǔ)音識(shí)別研究的未來(lái)，李海洲仍然充滿(mǎn)熱情。

除了自動(dòng)語(yǔ)音識(shí)別，他的研究?jī)?nèi)容還包括語(yǔ)音分離、文本處理、數(shù)字信號(hào)處理、多模態(tài)與類(lèi)腦計(jì)算等等方向。相比“人工智能”，李海洲更傾向于將其定義為“機(jī)器智能”。

在他看來(lái)，目前的人工智能系統(tǒng)仍存在許多亟待解決的局限性。比如，語(yǔ)音識(shí)別是針對(duì)一項(xiàng)任務(wù)開(kāi)發(fā)一個(gè)系統(tǒng)、而無(wú)法通用，并不能像人一樣舉一反三；再比如，人工智能的學(xué)習(xí)大多由數(shù)據(jù)驅(qū)動(dòng)，由此打造的系統(tǒng)在面對(duì)未學(xué)習(xí)過(guò)的場(chǎng)景時(shí)，往往不知所措。要解決這些問(wèn)題，仍需要下一代的努力。

除了科研，李海洲如今最喜歡的事情便是培養(yǎng)研究生，看著學(xué)生成長(zhǎng)。

作為曾經(jīng)歷過(guò)語(yǔ)音研究低潮期的學(xué)者，他在面試學(xué)生時(shí)總會(huì)先問(wèn)他們：“你來(lái)讀這門(mén)課，是因?yàn)檎娴南矚g這個(gè)課題，還是因?yàn)檫@個(gè)方向在外面很火熱？”只有具備真正的熱情，他才會(huì)收他們作為學(xué)生。

他所培養(yǎng)的學(xué)生中，許多人目前也在高校與企業(yè)擔(dān)任要職，比如華南理工大學(xué)電子與信息學(xué)院的金連文教授，微軟首席應(yīng)用科學(xué)家肖雄，F(xiàn)acebook研究科學(xué)家、開(kāi)發(fā)了 TTS 工具包 Merlin 的 Zhizheng Wu等等。與李海洲一樣，他們也十分注重研究成果的落地與實(shí)用性。

在深度學(xué)習(xí)時(shí)代，李海洲明顯感覺(jué)，當(dāng)前的研究氛圍有些浮躁。對(duì)于青年學(xué)者，他的建議是：

現(xiàn)在很多人在做語(yǔ)音處理的時(shí)候，因?yàn)橛辛松疃葘W(xué)習(xí)的工具，所以他們就每天拿DL工具來(lái)試東西。試了100個(gè)，其中有1個(gè)好的，他就很開(kāi)心了，但是什么也沒(méi)有學(xué)到，也沒(méi)辦法推廣。我覺(jué)得這個(gè)研究方法是不可取的。

如果要從事語(yǔ)音識(shí)別、語(yǔ)音處理、語(yǔ)音合成、聲紋識(shí)別之類(lèi)的研究，還是要回到根本，從語(yǔ)音的基本理論學(xué)起，比如學(xué)習(xí)語(yǔ)音是什么樣的，語(yǔ)音有什么樣的物理特征，回到信號(hào)處理的根本。你去了解信號(hào)是長(zhǎng)什么樣子，人是怎么處理的，然后才慢慢的去使用工具。

而研究對(duì)話(huà)系統(tǒng)的話(huà)，李海洲的建議是首先要讀自然語(yǔ)言處理的基本理論知識(shí)，然后才進(jìn)入深度學(xué)習(xí)的世界。

“就像學(xué)武術(shù)一樣，從基本功學(xué)起，這樣才能扎穩(wěn)根?！?/span>

參考鏈接：

1. http://news.iresearch.cn/content/2021/07/384705.shtml?from=groupmessage

2. http://www2.scut.edu.cn/ee/2019/0516/c16322a318358/page.htm

3. https://www.straitstimes.com/singapore/scdf-turns-to-artificial-intelligence-to-help-emergency-call-dispatchers

4. http://www.colips.org/~eleliha/3.%20Straitstimes%202009.pdf

5. https://www.sciencedirect.com/science/article/abs/pii/S0167639309001289

6. https://www.nas.gov.sg/archivesonline/data/pdfdoc/20131226001.htm

7. http://www.colips.org/~eleliha/4.%20Helsinkitimes%202009.pdf

 相關(guān)閱讀 

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。