0
| 本文作者： 楊麗 | 2020-10-23 10:05 |
雷鋒網(wǎng)訊，“某些語音識(shí)別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多。”這是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項(xiàng)正在進(jìn)行的研究主要發(fā)現(xiàn)。
這項(xiàng)研究對內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語音識(shí)別模型進(jìn)行了基準(zhǔn)測試。共同作者聲稱，詞錯(cuò)誤率（Word Error Rate, WER）（一種常見的語音識(shí)別性能指標(biāo)）要顯著高于最佳報(bào)告結(jié)果，這可能表明自然語言處理（NLP）領(lǐng)域存在更多待克服的問題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場景中，如電話會(huì)議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語料庫的WER僅有2%~3%，而正是這一統(tǒng)計(jì)數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場景都是在“類似于聊天機(jī)器人”的背景下進(jìn)行的，說話人往往因?yàn)橐庾R(shí)到跟他們的交互對象是聊天機(jī)器人，因此通常會(huì)將命令簡化成結(jié)構(gòu)緊湊的簡短詞語，而非正常的自然對話。
作者基于來自1595個(gè)供應(yīng)商和1261個(gè)客戶的50個(gè)呼叫中心對話數(shù)據(jù)集對幾套ASR系統(tǒng)進(jìn)行了評估。其通常時(shí)間長達(dá)8.5個(gè)小時(shí)，其中2.2個(gè)小時(shí)是對話。通過測試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯(cuò)誤率基本在15%以下，這與基準(zhǔn)測試中的2%相悖。
而基于保險(xiǎn)、通信、預(yù)定等金融行業(yè)的語料庫中，作者發(fā)現(xiàn)其WER的測試結(jié)果高達(dá)23.31%。其中，預(yù)定和通信的錯(cuò)誤率最高，可能是因?yàn)閷υ捝婕疤囟ǖ娜掌?、時(shí)間、訂單金額、地點(diǎn)、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測試中，其錯(cuò)誤率均高于13.73%。
研究人員將這一問題歸結(jié)為領(lǐng)域適應(yīng)性問題——基準(zhǔn)測試使用了單一性語料，例如Librispeech（1000小時(shí)英語有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過簡單而無法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們試圖刻意模仿真實(shí)、自發(fā)的對話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進(jìn)行腳本/半腳本對話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語因素而產(chǎn)生的發(fā)音問題。
作為一種補(bǔ)救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實(shí)際應(yīng)用場景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語料庫，這些改變將會(huì)促進(jìn)音頻信號(hào)處理的技術(shù)改進(jìn)。
因此，這些問題并非無法克服。“學(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測試數(shù)據(jù)集。我們認(rèn)為，對ASR準(zhǔn)確性的過于樂觀會(huì)損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)?！毖芯咳藛T最后表示。
雷鋒網(wǎng)訊，“某些語音識(shí)別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多?！边@是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項(xiàng)正在進(jìn)行的研究主要發(fā)現(xiàn)。
這項(xiàng)研究對內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語音識(shí)別模型進(jìn)行了基準(zhǔn)測試。共同作者聲稱，詞錯(cuò)誤率（Word Error Rate, WER）（一種常見的語音識(shí)別性能指標(biāo)）要顯著高于最佳報(bào)告結(jié)果，這可能表明自然語言處理（NLP）領(lǐng)域存在更多待克服的問題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場景中，如電話會(huì)議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語料庫的WER僅有2%~3%，而正是這一統(tǒng)計(jì)數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場景都是在“類似于聊天機(jī)器人”的背景下進(jìn)行的，說話人往往因?yàn)橐庾R(shí)到跟他們的交互對象是聊天機(jī)器人，因此通常會(huì)將命令簡化成結(jié)構(gòu)緊湊的簡短詞語，而非正常的自然對話。
作者基于來自1595個(gè)供應(yīng)商和1261個(gè)客戶的50個(gè)呼叫中心對話數(shù)據(jù)集對幾套ASR系統(tǒng)進(jìn)行了評估。其通常時(shí)間長達(dá)8.5個(gè)小時(shí)，其中2.2個(gè)小時(shí)是對話。通過測試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯(cuò)誤率基本在15%以下，這與基準(zhǔn)測試中的2%相悖。
而基于保險(xiǎn)、通信、預(yù)定等金融行業(yè)的語料庫中，作者發(fā)現(xiàn)其WER的測試結(jié)果高達(dá)23.31%。其中，預(yù)定和通信的錯(cuò)誤率最高，可能是因?yàn)閷υ捝婕疤囟ǖ娜掌?、時(shí)間、訂單金額、地點(diǎn)、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測試中，其錯(cuò)誤率均高于13.73%。
研究人員將這一問題歸結(jié)為領(lǐng)域適應(yīng)性問題——基準(zhǔn)測試使用了單一性語料，例如Librispeech（1000小時(shí)英語有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過簡單而無法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們試圖刻意模仿真實(shí)、自發(fā)的對話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進(jìn)行腳本/半腳本對話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語因素而產(chǎn)生的發(fā)音問題。
作為一種補(bǔ)救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實(shí)際應(yīng)用場景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語料庫，這些改變將會(huì)促進(jìn)音頻信號(hào)處理的技術(shù)改進(jìn)。
因此，這些問題并非無法克服?！皩W(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測試數(shù)據(jù)集。我們認(rèn)為，對ASR準(zhǔn)確性的過于樂觀會(huì)損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)。”研究人員最后表示。
（雷鋒網(wǎng)雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
