已上線！ AWS Polly 全新配置神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

本文作者：楊鯉萍

2019-08-06 11:17

導(dǎo)語：神經(jīng)文本轉(zhuǎn)語音系統(tǒng)和新聞播音員語音風(fēng)格

雷鋒網(wǎng) AI 科技評論按：7 月 30 日，亞馬遜在 AWS Polly 上發(fā)布神經(jīng)文本轉(zhuǎn)語音系統(tǒng)，同時(shí)推出新聞播音員語音風(fēng)格；并且通過這一工具，亞馬遜與谷歌的 WaveNet、微軟的 Azure Speech Service 語音系統(tǒng)，形成了強(qiáng)有力的競爭。

神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

為了不被谷歌的 WaveNet（通過識(shí)別音調(diào)模式來模擬語音中的重音和語調(diào)等）超越，亞馬遜在 7 月 30 日宣布了在其將文本轉(zhuǎn)換為語音的云服務(wù) Amazon Polly 中全面提供神經(jīng)文本到語音和新聞播音員風(fēng)格的功能。

正如亞馬遜網(wǎng)絡(luò)服務(wù)技術(shù)傳道者 Julien Simon 在一篇博客文章中指出的那樣，通過增加自然性和表現(xiàn)力，神經(jīng)文本到語音的轉(zhuǎn)換可以顯著改善語音質(zhì)量。而加入了新聞播音員的風(fēng)格，這會(huì)使得對于新聞文章和博客帖子這樣的敘事內(nèi)容聽起來「更加真實(shí)」，這是通過神經(jīng)文本到語音的底層機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)的。Simon 說：「多虧了波莉和新聞播音員的風(fēng)格，聽眾才可以享受使用高質(zhì)量的聲音所閱讀的文章，這種聲音聽起來就像他們在電視或廣播中聽到的那樣。」

像 Globe and Mail、Gannett、BlueToad、TIM Media、大英百科全書（Encyclopedia Britannica）、非盈利教育技術(shù)公司 CommonLit 以及游戲開發(fā)商 Volley 等客戶已經(jīng)在通過 Polly 來使用新聞播音員風(fēng)格。今年 1 月，亞馬遜將其推出到支持 Alexa 的設(shè)備上，用于每日簡報(bào)和維基百科片斷解說（https://venturebeat.com/2019/01/16/alexa-newscaster-voice/ ）。

新聞主播風(fēng)格有兩種可用的英語語音，而神經(jīng)文本到語音的轉(zhuǎn)換可適用于 11 種語音，包括三種美國英語語音和八種美國英語語音。兩者都是實(shí)時(shí)和批處理模式工作，目前它們可以在美國東部（弗吉尼亞北部），美國西部（俄勒岡州）和歐洲（愛爾蘭）AWS 區(qū)域訪問。

從第一次語音請求（標(biāo)準(zhǔn)或 NTTS）開始，前 12 個(gè)月每月最多 100 萬個(gè)字符的神經(jīng)文本到語音的轉(zhuǎn)換都是免費(fèi)的；在此之后用戶將需要進(jìn)行有償使用。

使用 AI 生成仿人語音

亞馬遜在去年年底的一篇文章中（https://venturebeat.com/2018/11/19/amazons-neural-tts-can-model-speaking-styles-with-only-a-few-hours-of-recordings/）詳述了其關(guān)于神經(jīng)文本到語音的轉(zhuǎn)換換方面的研究《數(shù)據(jù)縮減對序列到序列神經(jīng) TTS 的影響》（https://arxiv.org/abs/1811.06315 )。

研究人員在該論文中描述了一個(gè)系統(tǒng)，這個(gè)系統(tǒng)可以從短短幾個(gè)小時(shí)的訓(xùn)練中學(xué)會(huì)采用一種新的說話方式，而不是像配音演員那樣，可能需要幾十個(gè)小時(shí)才能以目標(biāo)風(fēng)格進(jìn)行閱讀。

亞馬遜的 AI 模型由兩部分組成。第一種是生成神經(jīng)網(wǎng)絡(luò)，它將一系列音素（感知上不同的聲音單位，可以區(qū)分一個(gè)詞和另一個(gè)詞，如 p a d 和 p a t 中的 p、b、d 和 t）轉(zhuǎn)換成一系列譜圖序列，或者隨時(shí)間變化的聲音頻率譜的視覺表示。第二種是聲碼器，它將這些頻譜圖轉(zhuǎn)換成連續(xù)的音頻信號(hào)。

音素-譜圖解釋器網(wǎng)絡(luò)是從序列到序列的，這意味著它不會(huì)僅僅從相應(yīng)的輸入計(jì)算輸出，而是考慮它在輸出序列中的位置。除了「風(fēng)格編碼」之外，亞馬遜的科學(xué)家還使用音素序列和相應(yīng)的光譜圖序列對其進(jìn)行了訓(xùn)練，該風(fēng)格編碼確定了訓(xùn)練示例中使用的特定說話風(fēng)格。該模型的輸出被輸入到聲碼器中，并且聲碼器無論是否在訓(xùn)練期間獲得某一揚(yáng)聲器的數(shù)據(jù)，都可以從該揚(yáng)聲器中獲取頻譜圖。

結(jié)果

最終，該研究將得到一種 AI 模型訓(xùn)練方法，這個(gè)方法可以將大量的中性風(fēng)格的語音數(shù)據(jù)與僅有幾個(gè)小時(shí)的所需風(fēng)格的補(bǔ)充數(shù)據(jù)相結(jié)合；以及一個(gè) AI 系統(tǒng)，該 AI 系統(tǒng)能夠區(qū)分獨(dú)立于講話風(fēng)格和該風(fēng)格獨(dú)有的語音元素。

亞馬遜 TTS 研究部高級經(jīng)理 Andrew Breen 在之前的博客文章中寫道：「教 Alexa 根據(jù)客戶要求的背景調(diào)整她講話風(fēng)格這一功能，開啟了以前無法想象的、新的、令人愉快的體驗(yàn)的可能性?！?/p>

已上線！ AWS Polly 全新配置神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

通過神經(jīng)文本到語音的轉(zhuǎn)換和新聞播音員風(fēng)格，亞馬遜與谷歌在 2 月份推出了一種語音功能（31 種新的 WaveNet 語音和 24 種新的標(biāo)準(zhǔn)語音，其 Cloud Text-to-Speech 服務(wù)使 WaveNet 語音的總數(shù)達(dá)到 57）有了很強(qiáng)勁的競爭；而它的另一個(gè)競爭對手是微軟，因?yàn)槲④浲ㄟ^ Azure Speech Service API 提供了三個(gè) AI 生成的預(yù)覽語音和 75 個(gè)標(biāo)準(zhǔn)語音。