雷鋒網(wǎng) AI 科技評(píng)論按，2019 年 3 月21 日，google 發(fā)布了他們有史以來(lái)第一個(gè)人工智能音樂(lè) AI Doodle ，以慶祝世界著名的德國(guó)作曲家和音樂(lè)家——Johann Sebastian Bach （巴赫）的生日！

Doodle 是 Google Magenta 和 Google PAIR 團(tuán)隊(duì)合作完成的，是一種互動(dòng)游戲，玩家可以創(chuàng)作自己選擇的兩種旋律的音樂(lè)。在按下一個(gè)按鈕之后，Doodle 會(huì)使用機(jī)器學(xué)習(xí)方法將旋律協(xié)調(diào)為到巴赫的簽名音樂(lè)風(fēng)格（如果你碰巧在 Doodle 中發(fā)現(xiàn)一個(gè)非常特別的復(fù)活節(jié)彩蛋，那它可能是巴赫 80 年代的混合搖滾風(fēng)格）。

偉大的德國(guó)音樂(lè)家巴赫

1685 年 3 月 21 日，巴赫出生在德國(guó)一個(gè)叫的 small German 小鎮(zhèn)。他在一個(gè)音樂(lè)大家庭里面長(zhǎng)大：他的父親能夠用多種樂(lè)器演奏，還擔(dān)任鎮(zhèn)上樂(lè)隊(duì)的指揮。他的大哥也是一名音樂(lè)家，在巴赫 10 歲的時(shí)候，他們的父親去世了，從此他跟著哥哥長(zhǎng)大。巴赫生前是一位著名的杰出風(fēng)琴手，他還懂得如何制作和修復(fù)復(fù)雜的管弦樂(lè)器。

巴赫是一位多產(chǎn)的音樂(lè)家，他每周都可以創(chuàng)作一首大合唱！但同時(shí)，巴赫也非常謙遜，他把自己的成功歸功于天賜靈感和嚴(yán)格的職業(yè)道德。在他活著的時(shí)候，只有幾部作品出版，但現(xiàn)在世界各地存在的手稿形式的作品超過(guò) 1000 部。

隨著 19 世紀(jì)的「Bach revival」，巴赫的名聲一飛沖天，當(dāng)時(shí)，音樂(lè)界開(kāi)始認(rèn)可和推崇他的四聲部和聲。也許衡量一個(gè)音樂(lè)家的最好標(biāo)準(zhǔn)是他對(duì)其他藝術(shù)家的影響，幾個(gè)世紀(jì)以來(lái)一直如此。

然而，音樂(lè)家并不是唯一受巴赫音樂(lè)影響的人。在「旅行者 2 號(hào)」太空探測(cè)器發(fā)射后，科學(xué)家兼作家 Lewis Thomas 建議人類將他的音樂(lè)傳播到太陽(yáng)系的最外層?！肝医ㄗh使用巴赫的音樂(lè)，所有巴赫的音樂(lè)，」他寫(xiě)道。

更多關(guān)于巴赫的傳奇故事，可以點(diǎn)擊下面的鏈接查看：https://artsandculture.google.com/exhibit/OwIihCfnO_8ZJQ

Doodle 背后的故事

我們可以先看看下面的視頻，了解關(guān)于 Doodle 誕生的故事。

開(kāi)發(fā) Doodle 的第一步是什么呢？那就是創(chuàng)建一個(gè)機(jī)器學(xué)習(xí)模型來(lái)驅(qū)動(dòng)它。傳統(tǒng)的計(jì)算機(jī)編程是通過(guò)制定制定一套規(guī)則讓計(jì)算機(jī)拿出答案，但機(jī)器學(xué)習(xí)是通過(guò)學(xué)習(xí)大量的示例，讓計(jì)算機(jī)學(xué)會(huì)拿出自己的答案的過(guò)程。今天 Doodle 中使用的模型是由 Magenta 團(tuán)隊(duì)的 Anna Huang 開(kāi)發(fā)的，她開(kāi)發(fā)了 Coconet，這是一種多功能模型，可以用于各種音樂(lè)任務(wù)，如協(xié)調(diào)旋律或從頭開(kāi)始作曲（請(qǐng)?jiān)?Magenta 的博客中查看更多這些技術(shù)細(xì)節(jié)）。

具體來(lái)說(shuō)，Coconet 接受了 306 次巴赫的合唱協(xié)調(diào)訓(xùn)練。巴赫的合唱團(tuán)總是有四個(gè)聲音，每個(gè)聲音都有自己的旋律線，同時(shí)在一起演奏時(shí)能創(chuàng)造出豐富悅耳的和聲。這種簡(jiǎn)潔的結(jié)構(gòu)使它們成為機(jī)器學(xué)習(xí)模型的良好訓(xùn)練數(shù)據(jù)。

PAIR 團(tuán)隊(duì)使用了 TensorFlow.js 使得機(jī)器學(xué)習(xí)能夠完全在 Web 瀏覽器中進(jìn)行，而需要像傳統(tǒng)機(jī)器學(xué)習(xí)那樣使用大量的服務(wù)器運(yùn)行。如果某人的計(jì)算機(jī)或設(shè)備可能不夠快，無(wú)法使用 tensorflow.js 運(yùn)行 Doodle，Doodle 還可以與谷歌的新 Tensor 處理單元（TPUs）一起使用，這種方法就是在數(shù)據(jù)中心快速處理機(jī)器學(xué)習(xí)任務(wù)。

這些組件與 Doodle 團(tuán)隊(duì)的藝術(shù)和工程相結(jié)合，創(chuàng)造了我們今天看到的 Doodle。

Bach Doodle 背后的 ML 模型

Doodle 背后的機(jī)器學(xué)習(xí)模型是 Coconet。3 年前，當(dāng) Magenta 團(tuán)隊(duì)成立時(shí)，他們開(kāi)始研究這個(gè)模型。當(dāng)時(shí)他們只使用機(jī)器學(xué)習(xí)（ML）來(lái)生成旋律。寫(xiě)一個(gè)好的旋律很難，更不用說(shuō)旋律協(xié)調(diào)了。像每個(gè)音樂(lè)學(xué)生一樣，他們想到了巴赫的音樂(lè)！使用巴赫的 306 個(gè)合唱協(xié)調(diào)數(shù)據(jù)集，他們能夠訓(xùn)練機(jī)器學(xué)習(xí)模型，以巴赫的風(fēng)格生成復(fù)調(diào)音樂(lè)。

Coconet 被訓(xùn)練從殘缺片段中恢復(fù)巴赫的音樂(lè)：團(tuán)隊(duì)從巴赫的音樂(lè)里面取一個(gè)片段，隨機(jī)刪除一些音符，然后讓模型根據(jù)上下文推測(cè)出缺失的音符。其結(jié)果是一個(gè)通用的對(duì)位模型，接受任意不完全的樂(lè)譜作為輸入，計(jì)算出完整的樂(lè)譜。這一設(shè)置涵蓋了各種各樣的音樂(lè)任務(wù)，例如協(xié)調(diào)旋律、創(chuàng)建平滑過(guò)渡、重寫(xiě)和細(xì)化現(xiàn)有音樂(lè)以及從頭開(kāi)始創(chuàng)作音樂(lè)。

傳統(tǒng)的模型通常是按照從開(kāi)始到結(jié)束的時(shí)間順序生成音符，而 Coconet 可以從任何時(shí)間開(kāi)始，以任何順序開(kāi)發(fā)音符。這種靈活性使得它成為輔助合成過(guò)程有效的工具。音樂(lè)家們將這一點(diǎn)用到他們的工作流程中的一種方法是反復(fù)讓 Coconet 填寫(xiě)分?jǐn)?shù)，每次都保留好的內(nèi)容并刪除其余的內(nèi)容。事實(shí)上，這就是 Coconet 的內(nèi)部工作機(jī)制：它在循環(huán)中生成材料，反復(fù)重寫(xiě)和刪除自己的工作。它從粗略的想法開(kāi)始，然后反復(fù)計(jì)算出細(xì)節(jié)，并把材料調(diào)整成一個(gè)連貫的整體。

模型的工作原理

Coconet 獲取不完整的樂(lè)譜并補(bǔ)充缺失的部分。為了訓(xùn)練它，團(tuán)隊(duì)從巴赫的四段對(duì)位合唱集里面選出一段，隨機(jī)刪除一些音符，并要求模型重建刪除的音符。巴赫的作曲和 Coconet 的作品之間的差異給了他們一個(gè)學(xué)習(xí)信號(hào)，通過(guò)這個(gè)信號(hào)他們可以訓(xùn)練自己的模型。

通過(guò)隨機(jī)刪除音符，團(tuán)隊(duì)希望得到一個(gè)能夠處理任意不完整輸入的模型。它相當(dāng)于一次訓(xùn)練多個(gè)模型，每個(gè)模型都適用于不同的場(chǎng)景。

在團(tuán)隊(duì)看來(lái)，「樂(lè)譜」是三維物體。巴赫的合唱是為四種聲音而創(chuàng)作的，分別是女高音（S）、中音（A）、男高音（T）和低音（B）。每個(gè)聲音的音樂(lè)都用鋼琴曲來(lái)表現(xiàn)：一個(gè)二維數(shù)組，其時(shí)間（離散）為行數(shù)據(jù)，音高為列數(shù)據(jù)。我們假設(shè)每種聲音在任何給定的時(shí)間都只唱一個(gè)音調(diào)。因此，通常對(duì)于每種聲音，在每個(gè)時(shí)間點(diǎn)，他們都有一個(gè) one-hot 基音向量，除了一個(gè)單獨(dú)的表示正在唱的音高的向量外，其元素都為零。在存在不確定性的情況下（例如，在模型輸出中），該基音向量將包含基音上的分類概率分布。

團(tuán)隊(duì)把這一疊鋼琴視為卷積特征圖，時(shí)間和音高構(gòu)成二維卷積空間，每種聲音都提供一個(gè)通道。由于他們將要輸入模型的音符不完整，于是他們?yōu)槊糠N聲音提供一個(gè)額外的掩膜通道：二進(jìn)制值指示每個(gè)時(shí)間點(diǎn)該聲音的音高是否已知。因此，進(jìn)入模型的是一個(gè)八通道特征圖。

該模型是一個(gè)非常簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，具有批標(biāo)準(zhǔn)化和殘差連接。對(duì)于使用 tensorflow.js 實(shí)現(xiàn)在瀏覽器中運(yùn)行模型的 Doodle，可以通過(guò)切換到非縱向可分離卷積來(lái)加快計(jì)算速度。

團(tuán)隊(duì)訓(xùn)練該模型，以提高音高分配給真正的音符的概率。這促使模型去理解它所接收的不完整樂(lè)譜的音樂(lè)含義——現(xiàn)在用的是什么音調(diào)，用的是什么樂(lè)器，下一個(gè)音符是什么，前面的音符是什么？

一旦模型得到訓(xùn)練，就可以從模型產(chǎn)生的概率分布中提取音樂(lè)。我們可以根據(jù)每個(gè)音符的分布對(duì)每個(gè)音符進(jìn)行采樣。然而，這不能解釋被采樣音符之間的相互作用。通常，確定其中一個(gè)音符會(huì)改變其他音符的分布。

計(jì)算這些交互作用的一種方法是對(duì)其中一個(gè)音高進(jìn)行采樣，將其添加到不完整的樂(lè)譜中，然后再次通過(guò)模型傳遞結(jié)果，再重新計(jì)算剩余音高的分布。通過(guò)重復(fù)這個(gè)過(guò)程直到所有的音符都確定，團(tuán)隊(duì)在考慮所有的關(guān)聯(lián)關(guān)系的同時(shí)完成樂(lè)譜。

但是實(shí)際上，他們采用的方法更加強(qiáng)大：將模型的輸出視為一個(gè)粗略的草稿，然后通過(guò)反復(fù)重寫(xiě)逐步細(xì)化。具體地說(shuō)，他們同時(shí)對(duì)所有音符進(jìn)行采樣，獲得一個(gè)完整的（但通常是無(wú)意義的）樂(lè)譜，然后將其部分刪除并再次傳遞到模型中，然后重復(fù)該過(guò)程。隨著時(shí)間的推移，需要抹去和重寫(xiě)的音符越來(lái)越少。

團(tuán)隊(duì)在建模的過(guò)程中，每次只建模一個(gè)變量。同時(shí)，他們采用無(wú)序建模的方式，并且采用 Gibbs 采樣的方法，從多個(gè)順序中生成樂(lè)譜。因此，可以保證模型是有效的。具體的解析可以點(diǎn)擊這里查看。

via：1.https://www.google.com/doodles/celebrating-johann-sebastian-bach?hl=en

2.https://magenta.tensorflow.org/coconet

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。