0
| 本文作者： 楊麗 | 2020-10-23 10:05 |
雷鋒網(wǎng)訊，“某些語音識別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多?！边@是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項正在進行的研究主要發(fā)現(xiàn)。
這項研究對內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語音識別模型進行了基準(zhǔn)測試。共同作者聲稱，詞錯誤率（Word Error Rate, WER）（一種常見的語音識別性能指標(biāo)）要顯著高于最佳報告結(jié)果，這可能表明自然語言處理（NLP）領(lǐng)域存在更多待克服的問題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場景中，如電話會議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語料庫的WER僅有2%~3%，而正是這一統(tǒng)計數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場景都是在“類似于聊天機器人”的背景下進行的，說話人往往因為意識到跟他們的交互對象是聊天機器人，因此通常會將命令簡化成結(jié)構(gòu)緊湊的簡短詞語，而非正常的自然對話。
作者基于來自1595個供應(yīng)商和1261個客戶的50個呼叫中心對話數(shù)據(jù)集對幾套ASR系統(tǒng)進行了評估。其通常時間長達8.5個小時，其中2.2個小時是對話。通過測試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯誤率基本在15%以下，這與基準(zhǔn)測試中的2%相悖。
而基于保險、通信、預(yù)定等金融行業(yè)的語料庫中，作者發(fā)現(xiàn)其WER的測試結(jié)果高達23.31%。其中，預(yù)定和通信的錯誤率最高，可能是因為對話涉及特定的日期、時間、訂單金額、地點、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測試中，其錯誤率均高于13.73%。
研究人員將這一問題歸結(jié)為領(lǐng)域適應(yīng)性問題——基準(zhǔn)測試使用了單一性語料，例如Librispeech（1000小時英語有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過簡單而無法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們試圖刻意模仿真實、自發(fā)的對話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進行腳本/半腳本對話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語因素而產(chǎn)生的發(fā)音問題。
作為一種補救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實際應(yīng)用場景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語料庫，這些改變將會促進音頻信號處理的技術(shù)改進。
因此，這些問題并非無法克服。“學(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測試數(shù)據(jù)集。我們認為，對ASR準(zhǔn)確性的過于樂觀會損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)。”研究人員最后表示。
雷鋒網(wǎng)訊，“某些語音識別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多?！边@是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項正在進行的研究主要發(fā)現(xiàn)。
這項研究對內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語音識別模型進行了基準(zhǔn)測試。共同作者聲稱，詞錯誤率（Word Error Rate, WER）（一種常見的語音識別性能指標(biāo)）要顯著高于最佳報告結(jié)果，這可能表明自然語言處理（NLP）領(lǐng)域存在更多待克服的問題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場景中，如電話會議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語料庫的WER僅有2%~3%，而正是這一統(tǒng)計數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場景都是在“類似于聊天機器人”的背景下進行的，說話人往往因為意識到跟他們的交互對象是聊天機器人，因此通常會將命令簡化成結(jié)構(gòu)緊湊的簡短詞語，而非正常的自然對話。
作者基于來自1595個供應(yīng)商和1261個客戶的50個呼叫中心對話數(shù)據(jù)集對幾套ASR系統(tǒng)進行了評估。其通常時間長達8.5個小時，其中2.2個小時是對話。通過測試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯誤率基本在15%以下，這與基準(zhǔn)測試中的2%相悖。
而基于保險、通信、預(yù)定等金融行業(yè)的語料庫中，作者發(fā)現(xiàn)其WER的測試結(jié)果高達23.31%。其中，預(yù)定和通信的錯誤率最高，可能是因為對話涉及特定的日期、時間、訂單金額、地點、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測試中，其錯誤率均高于13.73%。
研究人員將這一問題歸結(jié)為領(lǐng)域適應(yīng)性問題——基準(zhǔn)測試使用了單一性語料，例如Librispeech（1000小時英語有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過簡單而無法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們試圖刻意模仿真實、自發(fā)的對話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進行腳本/半腳本對話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語因素而產(chǎn)生的發(fā)音問題。
作為一種補救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實際應(yīng)用場景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語料庫，這些改變將會促進音頻信號處理的技術(shù)改進。
因此，這些問題并非無法克服。“學(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測試數(shù)據(jù)集。我們認為，對ASR準(zhǔn)確性的過于樂觀會損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)。”研究人員最后表示。
（雷鋒網(wǎng)雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
