雷鋒網(wǎng) AI 科技評論按，近日，「2019 年聲紋識別研究與應(yīng)用學(xué)術(shù)討論會」在昆山杜克大學(xué)學(xué)術(shù)樓一樓報告廳舉辦。本次會議由中國計算機學(xué)會和昆山杜克大學(xué)聯(lián)合舉辦，由昆山市科學(xué)技術(shù)協(xié)會提供支持，協(xié)辦方包括昆山杜克大學(xué)大數(shù)據(jù)研究中心、清華大學(xué)媒體大數(shù)據(jù)認知計算研究中心和中國計算機學(xué)會語音對話與聽覺專業(yè)工作組。大會主席由昆山杜克大學(xué)電子與計算機工程副教授，美國杜克大學(xué)電子與計算機工程系客座研究員、博士生導(dǎo)師，武漢大學(xué)人工智能研究所兼職教授李明和清華大學(xué)媒體大數(shù)據(jù)認知計算研究中心副研究員何亮共同擔任。

上午 9:00，昆山杜克大學(xué)學(xué)術(shù)事物副校長，美國杜克大學(xué)講席教授高海燕參加了開幕式并進行了開場致辭。

隨后，中國計算機學(xué)會語音對話及聽覺專業(yè)組副主任，上海交通大學(xué)計算機科學(xué)與工程系教授俞凱老師進行了致辭，他給大家介紹了本次會議的基本情況，感謝各位參會嘉賓的支持，呼吁語音界團結(jié)合作，舉辦更多的高水平學(xué)術(shù)活動。

本次會議分為四個環(huán)節(jié)，第一個環(huán)節(jié)是關(guān)于深度學(xué)習的討論，第二個環(huán)節(jié)是對抗學(xué)習、說話人日志相關(guān)技術(shù)的討論，第三個環(huán)節(jié)的主題是說話人編碼，第四個環(huán)節(jié)的討論內(nèi)容是聯(lián)合學(xué)習。

第一個環(huán)節(jié)：深度學(xué)習

首先上臺報告的是本次會議主席之一，昆山杜克大學(xué)電子與計算機工程副教授，美國杜克大學(xué)電子與計算機工程系客座研究員、博士生導(dǎo)師，武漢大學(xué)人工智能研究所兼職教授李明，他的分享主題是「基于端到端深度學(xué)習的說話人和語種識別」。

他表示，語音作為語言的聲音表現(xiàn)形式，不僅包含了語言語義信息，同時也傳達了說話人語種，性別，年齡，情感，信道，嗓音，病理，生理，心理等多種豐富的副語言語音屬性信息。以上這些語言語音屬性識別問題從整體來看，其核心都是針對不定時長文本無關(guān)的句子層面語音信號的有監(jiān)督學(xué)習問題，只是要識別的屬性標注有不同。

李明介紹了其團隊近期在 ICASSP，INTERSEECH 等語音領(lǐng)域重要國際會議上發(fā)表的工作：（1）提出基于字典池化的編碼層代替原有的平均池化層，效果顯著；（2）提出一種結(jié)合注意力機制的 CNN-BLSTM 網(wǎng)絡(luò)框架，能有效地結(jié)合 CNN 和 BLSTM 各自的優(yōu)勢，達到更好的系統(tǒng)性能；（3）引入 Center loss 和 Angular Softmax 以學(xué)習得到更具鑒別性的說話人特征，后端僅僅使用余弦相似度打分即可得到較好的說話人驗證性能；（4）提出在網(wǎng)絡(luò)學(xué)習階段便引入長度歸一化機制，后端僅僅使用簡單的內(nèi)積即可得到較好的說話人驗證性能。

最后，李明總結(jié)說，近年來，聲紋識別的研究趨勢正在快速朝著深度學(xué)習和端到端方向發(fā)展，其中最典型的就是基于句子層面的做法。他認為，在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，數(shù)據(jù)增強，損失函數(shù)設(shè)計等方面還有很多工作去做，還有很大的提升空間。

第二個演講嘉賓是中國科學(xué)院聲學(xué)研究所研究員、博士生導(dǎo)師，中國科學(xué)院大學(xué)崗位教授，英國謝菲爾德大學(xué)公派訪問學(xué)者張鵬遠，他討論的內(nèi)容是「基于深度學(xué)習的短時聲紋識別技術(shù)」。

他認為，在實際應(yīng)用中，由于對基于語音的訪問控制需求的不斷增長，提升聲紋識別系統(tǒng)在短時語音情況下的性能變得尤為迫切。短時語音中說話人信息不足以及注冊和測試語音的文本內(nèi)容不匹配，對于主流的基于統(tǒng)計建模的聲紋識別系統(tǒng)是一個嚴峻的挑戰(zhàn)。

為了從短時語音中精確提取表征說話人個性信息的說話人特征向量，他們團隊提出了一種雙路神經(jīng)網(wǎng)絡(luò)，從多個時間尺度來對說話人信息進行建模，并融合不同時間尺度的特征來進行建模尺度的互補，顯著提升了短時語音條件下的系統(tǒng)性能。

團隊進一步針對說話人低維向量如 i-vector，embedding 等進行了后端建模的研究，提出了基于區(qū)分性學(xué)習方法的神經(jīng)網(wǎng)絡(luò)來最大化說話人的類間方差，同時最小化類內(nèi)方差，網(wǎng)絡(luò)將說話人的低維向量映射到更具說話人區(qū)分性的空間，從而使最終得到的低維向量能更好的進行說話人判決。

上午的第三個演講嘉賓是中國科學(xué)技術(shù)大學(xué)語音及語言信息處理國家工程實驗室副教授宋彥。宋彥老師長期從事人工智能和語音信號智能處理研究，他的演講題目是「基于深度學(xué)習的說話人識別方法」。

他說，目前采用的深度說話人識別方法首先利用神經(jīng)網(wǎng)絡(luò)提取前端的幀級特征，然后通過池化映射獲得可以表示說話人特性的段級向量，最后采用 LDA/PLDA 等后端建模方法進行度量計算。
相對于傳統(tǒng)的 i-vector 生成過程，基于深度學(xué)習的說話人識別方法優(yōu)勢主要體現(xiàn)在區(qū)分性訓(xùn)練和利用多層網(wǎng)絡(luò)結(jié)構(gòu)對局部多幀聲學(xué)特征的有效表示上。如何進一步改進現(xiàn)有的深度說話人學(xué)習方法是現(xiàn)階段的一個研究熱點。

對于這一問題，他介紹了三種方法：結(jié)合密集空洞卷積和注意力機制的幀級特征提取方法、基于跨層雙線性池化操作的段級特征映射方法和基于深度判別分析優(yōu)化目標實現(xiàn)的端到端的說話人識別方法。

第二個環(huán)節(jié)：對抗學(xué)習、說話人日志

首先上臺的是西北工業(yè)大學(xué)計算機學(xué)院教授、博士生導(dǎo)師謝磊。他和大家分享了「深度對抗學(xué)習在說話人識別中的應(yīng)用」有關(guān)的內(nèi)容。

他提及，對抗學(xué)習在計算機視覺領(lǐng)域應(yīng)用非常廣泛，在語音領(lǐng)域也用到的很多，近兩年來，和語音相關(guān)對抗學(xué)習研究的文章數(shù)量明顯增長。

生成式對抗網(wǎng)絡(luò) (GAN) 的主要目的是用在數(shù)據(jù)生成、降噪、等很多場景里面。它還被用在領(lǐng)域自適應(yīng)里面，形成一個新的分布。第三個廣泛的應(yīng)用是生成對抗樣本，這會對分類系統(tǒng)產(chǎn)生大的困擾。很多研究者用對抗樣本攻擊機器學(xué)習的系統(tǒng)，在原始數(shù)據(jù)上增加一些擾動，生成樣本，經(jīng)過神經(jīng)網(wǎng)絡(luò)之后就有可能識別成完全不同的結(jié)果。這個思想在圖像處理領(lǐng)域非常活躍，會造成錯誤識別，引起了自動駕駛，安全等領(lǐng)域的研究人員的廣泛關(guān)注。

在語音領(lǐng)域，GAN 可以用在語音識別、口音自適應(yīng)上，通過多任務(wù)學(xué)習和梯度反轉(zhuǎn)層來進行口音或信道的自適應(yīng)，然后加上其他方法可以得到較好的效果。聲紋識別也存在各種不匹配的問題，在聲紋識別上也可以使用這一思想。同樣的思想也用在了 TTS 語音合成領(lǐng)域，目的是把不同的音素解耦成說話人，風格等，去除噪聲對建模的影響。

隨后，廈門大學(xué)副教授，全國人機語音通訊會議（NCMMSC）常設(shè)委員，福建省杰出青年基金獲得者洪青陽和聽眾探討了「基于對抗多任務(wù)學(xué)習的抗噪魯棒說話人識別」相關(guān)的經(jīng)驗。

洪青陽表示，聲紋識別是比較小眾的研究，對很多人來說是比較陌生的領(lǐng)域，但隨著技術(shù)的發(fā)展，現(xiàn)在學(xué)術(shù)界和工業(yè)界越來越重視這方面的研究。最開始研究用的是早期的英語數(shù)據(jù)，現(xiàn)在數(shù)據(jù)處理的難度越來越大，有中文數(shù)據(jù)、長語音，數(shù)據(jù)中還可能有短語音、噪聲等。

針對噪聲環(huán)境下說話人識別系統(tǒng)下降問題，洪青陽團隊設(shè)計對抗多任務(wù)網(wǎng)絡(luò)來提取具有高噪聲魯棒性的說話人特征。該網(wǎng)絡(luò)結(jié)構(gòu)包含有三個部分：一個編碼器（encoder）, 一個說話人分類器（speaker classifier）和一個判別器（discriminator）。在訓(xùn)練過程中，編碼器和說話人分類器聯(lián)合訓(xùn)練使 speaker embedding 更具有說話個體與個體之間的區(qū)分性，判別器和編碼器進行對抗訓(xùn)練使得編碼器映射得到的 embedding 包含更少的噪聲信息。通過這種對抗多任務(wù)訓(xùn)練，他們能夠得到具有噪聲魯棒性的 speaker embedding，實驗結(jié)果表明，新的 embedding 在不同噪聲干擾的情況下均獲得較好的性能提升。

上午最后一個演講的是中國科學(xué)技術(shù)大學(xué)副教授杜俊，他的演講題目是「Recent Progress on Speech Enhancement for Speaker Diarization in Realistic Environments」。

他透露，他們團隊做了一些說話人日志相關(guān)的研究。例如開會的語音，怎么區(qū)分每個發(fā)言人。目前主流的方法是對數(shù)據(jù)進行加噪處理，但是他們采用的方法是降噪，加噪后分類的區(qū)分度會降低。2018 年，團隊在 Github 上開源了一個工具，可以用來降噪。他們的網(wǎng)絡(luò)和主流神經(jīng)網(wǎng)絡(luò)的區(qū)別在于中間層的設(shè)計不一樣。

他提及，語音降噪里面最重要的是信噪比，而深度學(xué)習的方法傾向于降噪，由此帶來的問題是可能會把語音層度給破壞掉。于是他們設(shè)計了一個將信噪比分為多個階段去學(xué)習的網(wǎng)絡(luò)，分而治之，這樣的好處是在每個過程中，在干什么比較清晰。隨后他們做了一些測試，在兩個數(shù)據(jù)集上進行了測試，發(fā)現(xiàn)他們的方法在增強效果上獲得了提升。除了噪聲問題之外，語音重疊是目前最有挑戰(zhàn)性的問題，很多說話人日志問題都是由于 overlap 的影響沒有得到很好的解決。

最后他總結(jié)說，可以使用更多的訓(xùn)練數(shù)據(jù)來增強泛化能力；尤其是在高度不匹配的情況下，用「分層級分階段」的語音增強方法來處理數(shù)據(jù)。

他還談到，他們目前正在做的工作有：充分利用所有的學(xué)習目標探索后處理；在去噪架構(gòu)中加入去混響；檢測重疊語音，分離說話人等。

第三個環(huán)節(jié)：說話人編碼

下午第一個演講的是清華大學(xué)語音語言中心副研究員，中心常務(wù)副主任王東，他演講的主題是「說話人識別中的嵌入向量歸一化」。

他介紹道，PLDA 和 LDA 的基本思路一樣，都用到了 speaker 的信息。LDA 和 PLDA 都能得到很好的效果，雖然 PLDA 包含 LDA，但是 LDA 和 PLDA 加在一起效果會更好，產(chǎn)生這種現(xiàn)象的原因可能是因為歸一化的問題。

然后，他又接著講了 LDA，PLDA 和 PCA 在三種方法的特點，介紹了他們的工作。最后，他總結(jié)說，VAE 可以得到更好的 embedding；基于 VAE 的編碼在邊緣上是高斯約束的；約束邊緣可以導(dǎo)致更好的歸一化先驗；在只有自己或者采用 PLDA 的時候，正規(guī)化 embedding 的表現(xiàn)更好等。

下午第二個做報告的是上海交通大學(xué)計算機科學(xué)與工程系副教授，博士生導(dǎo)師，上海交大-思必馳聯(lián)合實驗室副主任錢彥旻，他的分享主題是「Recent Advances in Deep Embedding Learning for Speaker Identification and Spoofing Detection」。

他表示，說話人識別和欺騙檢測近年來受到學(xué)術(shù)界和業(yè)界的廣泛關(guān)注，人們希望在實際應(yīng)用中設(shè)計出高性能的系統(tǒng)?；谏疃葘W(xué)習的方法在該領(lǐng)域得到了廣泛的應(yīng)用，在說話人識別和反欺騙方面取得了新的里程碑。

然而，在真實復(fù)雜的場景下，面對短語音、噪聲的破壞、信道失配、大規(guī)模等困難，開發(fā)一個魯棒的系統(tǒng)仍然是非常困難的。深度嵌入學(xué)習是進行說話人識別和反欺騙的一個重要途徑，在這方面已有一些著名的研究成果。如之前的 d-vector 特征和當前普遍使用的的 x-vector 特征。

他說，從 2013 年到現(xiàn)在，他們團隊發(fā)表了 20 多篇說話人識別和反欺騙方面的論文，這些文章大部分是關(guān)于說話人識別的。隨后，他介紹了他們的一些論文。他們的第一個工作，是 speaker embedding 的數(shù)據(jù)增強，第二個工作是 speaker embedding 的后處理。目前存在的問題的較大的模型表現(xiàn)很好但是需要的計算資源大，較小的模型需要的資源少但是效果太差。改進的方法是構(gòu)建性能良好的小型說話人識別嵌入模型。

第三個環(huán)節(jié)以西北工業(yè)大學(xué)教授，博士生導(dǎo)師張曉雷的演講作為結(jié)尾。

張曉雷表示，傳統(tǒng)聲紋識別算法通常首先優(yōu)化代理損失函數(shù)，例如分類錯誤率，然后使用 DET 曲線或 EER 作為評價指標，這造成了優(yōu)化目標和評價指標之間的不匹配。

隨后，他介紹了兩種直接優(yōu)化評價指標的度量學(xué)習后端算法。第一種算法在余弦相似度框架下最小化 EER，第二種算法在馬氏距離相似度量框架下最大化部分 ROC 曲線下面積（pAUC）；這兩種后端算法都可作為深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標。

基于余弦相似度量的方法存在局部最優(yōu)化的問題，需要提供好的初始點。在優(yōu)化損失度量的時候，高斯分布之間的方差也會變大，需要讓這個方差在可控的范圍內(nèi)。這個算法的缺陷是，對參數(shù)的調(diào)節(jié)比較敏感，造成這個現(xiàn)象的原因是，其優(yōu)化目標是非凸的。

為了解決這三個問題，他們團隊提出了基于馬氏距離相似度量框架。(1) 優(yōu)化目標 pAUC 是聲紋識別的全局評價指標，AUC 是 pAUC 的特例; (2) 基于馬氏距離，所構(gòu)造的目標函數(shù)是凸函數(shù)。該方法有很多優(yōu)點，可以通過參數(shù)設(shè)定，輕松的選擇難分的樣本對; 也可以靈活與不同前端結(jié)合，如 i-vector / x-vector; 還可以很容易推廣到 End-to-End 的框架下。

第四個環(huán)節(jié)：聯(lián)合學(xué)習。

首先上臺的是清華大學(xué)媒體大數(shù)據(jù)認知計算研究中心，副研究員何亮。

他告訴我們，語音是日常生活中簡潔高效的自然溝通方式，承載了大量信息。主流研究常從單一角度切入，忽視不同屬性間相互影響。從語音產(chǎn)生機制來看，語音的多維屬性是緊耦合的；從聽感知理論來看，語音的多維屬性信息是共同感知，相互存進。

基于上面的認知，他們團隊進行聯(lián)合識別研究，利用貝葉斯公式將目標問題轉(zhuǎn)化為數(shù)學(xué)表述，推導(dǎo)五種聯(lián)合識別方法，探索論證網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化策略和迭代收斂性等。基于前期的 I-vector 和潛在類別模型等研究基礎(chǔ)，他和大家探討了如下工作：

1. 基于通用語音識別數(shù)據(jù)庫，構(gòu)建并開源聯(lián)合識別數(shù)據(jù)集；
   

2. 基于 DNN-HMM、CTC 語音識別系統(tǒng)，x-vector、DNN i-vector 說話人識別系統(tǒng)，實現(xiàn)并驗證聯(lián)合識別系統(tǒng)，重點是網(wǎng)絡(luò)共享和迭代優(yōu)化方法；
   

3. 基于分解層次化變分自動編碼器和多目標優(yōu)化對抗生成網(wǎng)絡(luò)，設(shè)計通用聯(lián)合識別網(wǎng)絡(luò)。
   未來，我們的技術(shù)應(yīng)該是什么方向？他對此進行了思考。
   

他認為，未來有 3 個技術(shù)方向可以進行深入研究，一是沿著深度神經(jīng)網(wǎng)絡(luò)的主線，利用對抗生成、端到端、網(wǎng)絡(luò)結(jié)構(gòu)，代價函數(shù)等技術(shù)對系統(tǒng)性能進一步提升；二是和語音合成相結(jié)合的聯(lián)合學(xué)習以及對抗識別；三是和語音識別結(jié)合的聯(lián)合學(xué)習。

隨后演講的是清華大學(xué)電子系教授歐智堅，他的報告題目是「簡潔的說話人識別及語音識別」。

他給大家分享了他們團隊 3 個方面的工作：

1）引入 Joint Bayesian 鑒別分析替代現(xiàn)在主流的 PLDA（Probabilistic Linear Discriminant Analysis），不需要指定子空間的維數(shù)且提高了說話人識別的性能。

2）引入 Angular Softmax Loss 到說話人驗證，不需要 Triplet 數(shù)據(jù)選擇，更容易使用且訓(xùn)練穩(wěn)定，取得了同等實驗條件下優(yōu)異識別性能，對類別空間為開集的模式識別研究具有指導(dǎo)意義。

3）提出使用神經(jīng)時序分類（CTC）狀態(tài)拓撲的條件隨機場（CRF）方法，簡稱 CTC-CRF。在 WSJ、Switchboard、Librispeech 三個常用基準數(shù)據(jù)集上，CTC-CRF 的性能表現(xiàn)均超過了標準 CTC 模型、基于注意力的模型以及現(xiàn)在廣為流行的 Kaldi 工具包中的端對端模型（End-to-end Chain-model），同時具有訓(xùn)練流程簡潔、能充分利用詞典及語言模型從而數(shù)據(jù)利用效率高等優(yōu)勢，展示出巨大潛力。

最后，中國科學(xué)技術(shù)大學(xué)電子工程與信息科學(xué)系副教授郭武、清華大學(xué)電子工程系老師張衛(wèi)強做了主題為「復(fù)雜環(huán)境下語音數(shù)據(jù)的說話人識別及關(guān)鍵詞檢索初探」的報告。

他們認為，說話人識別和關(guān)鍵詞檢索目前有 3 個瓶頸問題還沒有很好地解決：（1）數(shù)據(jù)來源廣泛，大量語音數(shù)據(jù)不再是安靜環(huán)境或合作方式下采集，這使得聲學(xué)條件非常復(fù)雜，傳統(tǒng)的特征提取與表征方式受到挑戰(zhàn)；（2）多種語種混雜，數(shù)據(jù)中含有多種語種/方言/口音的數(shù)據(jù)混合或切換，這使得單一語種關(guān)鍵詞檢索系統(tǒng)的無法湊效，說話人識別系統(tǒng)的性能顯著降低；（3）有效資源稀缺，對于小語種或方言，標注數(shù)據(jù)極其有限，發(fā)音字典難以獲取，并且普遍缺少專家知識，這使得傳統(tǒng)的依靠大量資源的建模方法根本無法使用，必須探索新的范式。

針對以上問題，他們兩個課題組聯(lián)合做了一系列的攻關(guān)。針對說話人識別，他們從兩方面進行了改進。（1）他們針對傳統(tǒng)的 TDNN 或者 CNN 對語音特征層的編碼信息提取不足的問題，提出采用門控的 CNN（GCNN）來對語音特征層進行編碼提取說話人底層信息；進一步，他們將門控的信息引入到注意力機制中，從而可以保證最有說話人區(qū)分性的信息用來形成表達說話人的 x-vector。（2）得分規(guī)整可有效調(diào)整說話人測試得分分布，使得分分布接近正態(tài)分布，從而提升整體判決的準確率。在測試集與訓(xùn)練集或者開發(fā)集不匹配的情況下，如何從大量不匹配的數(shù)據(jù)中選擇得分得到規(guī)整參數(shù)是保證系統(tǒng)性能的關(guān)鍵。他們利用無監(jiān)督聚類手段對這些得分進行聚類，采用混合高斯模型來擬合得分分布，只挑選均值最大的一個高斯單元來作為得分規(guī)整的參數(shù)并將其應(yīng)用于說話人的得分規(guī)整。

針對關(guān)鍵詞檢索，他們主要針對低資源場景進行研究。（1）對于有幾十小時訓(xùn)練數(shù)據(jù)的情況，他們分別對特征序列和文本序列進行 embedding，然后進行端到端的建模，可以擺脫對語音識別系統(tǒng)的依賴。（2）對于有若干樣例的情況，我們采用關(guān)鍵詞-填充詞的思路，為每個關(guān)鍵詞建立模型和搜索路徑，可以進行語種無關(guān)的關(guān)鍵詞檢索。（3）對于僅有一個樣例的，我們先用神經(jīng)網(wǎng)絡(luò)提取合適的特征表示，然后進行模板匹配，可以進行「零資源」關(guān)鍵詞檢索。

在這四個演講環(huán)節(jié)結(jié)束后，企業(yè)嘉賓上臺與學(xué)術(shù)界老師們共同探討了聲紋識別技術(shù)目前的發(fā)展現(xiàn)狀，未來可能的發(fā)展趨勢以及自己的學(xué)習經(jīng)歷等等。最后，嘉賓們討論了下次會議相關(guān)事宜。

至此，本次會議圓滿結(jié)束。

本次會議到場的校外聽眾超過 130 人，特邀演講嘉賓 18 人，參會高校教師 15 人，參會企業(yè)代表 60 人，參會研究生 36 人，在線觀看直播的人數(shù)也達到了幾千人。在每個環(huán)節(jié)中，聽眾們的討論都非常激烈，同學(xué)們的提問異常踴躍，嘉賓們學(xué)識淵博，不厭其煩地解答相關(guān)技術(shù)問題，到場的聽眾都受益匪淺。相信明年的學(xué)術(shù)研討會一定會更加精彩，期待！

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。