編者按：本來作者Evan Ackerman，來源IEEE Spectrum, 由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可不可轉(zhuǎn)載！

佐治亞理工大學(xué)音樂科技中心（The Georgia Tech Center for Music Technology）由佐治亞理工大學(xué)音樂學(xué)院教授Gil Weinberg創(chuàng)立，一直以來，它以機(jī)器人音樂創(chuàng)作而聞名于世。其開發(fā)出的AI和機(jī)器人可創(chuàng)作出令人驚嘆的音樂作品，極富創(chuàng)造力和專業(yè)精神。

Shimon便是喬治亞音樂科技中心的音樂家之一，它是一只四臂機(jī)器人，會彈奏木琴，并能實(shí)時(shí)分析音樂，配合人類演奏。不過，雖然Shimon的才華有目共睹，但在此之前，它只會彈奏人類已經(jīng)寫好的樂譜。現(xiàn)在，Shimon已經(jīng)能夠運(yùn)用深度學(xué)習(xí)來即興獨(dú)立創(chuàng)作樂曲了。更加值得一提的是，其創(chuàng)作出的樂曲節(jié)奏明晰，相當(dāng)和諧，讓人驚嘆。如果你有幸聽過Shimon的處女原創(chuàng)作品，你會發(fā)現(xiàn)它頗具古典爵士的風(fēng)味。

Shimon的開發(fā)者是Mason Bretan，他是佐治亞理工學(xué)院音樂技術(shù)中心的一名博士研究生，主攻音樂機(jī)器人方向，他致力于將“機(jī)器即興演奏、路徑規(guī)劃、身體認(rèn)知”的功能最大化。旋律和和弦由四種基礎(chǔ)旋律組合而成，其通過神經(jīng)網(wǎng)絡(luò)譜寫。該神經(jīng)網(wǎng)絡(luò)接受過成熟的訓(xùn)練，已經(jīng)吸收了將近5000首完整歌曲（包括貝多芬、披頭士樂隊(duì)、Lady Gaga、Miles Davis和John Coltrane），以及200萬種樂旨、重復(fù)樂段、小樂句和其他的基礎(chǔ)音樂元素。

當(dāng)Bretan運(yùn)用了一個(gè)節(jié)奏更快的基礎(chǔ)旋律，Shimon則創(chuàng)作出了一首截然不同的音樂，風(fēng)格更加明快。Shimon的第二首原創(chuàng)音樂便誕生了。

需要指出的是，Shimon既沒有將不同的音樂單位機(jī)械地結(jié)合在一起，也沒有使用某種隨意的音樂生成器，而是運(yùn)用深度神經(jīng)網(wǎng)絡(luò)譜寫出樂曲，這就是Shimon的特別之處。事實(shí)上，Shimon所譜寫的每一首音樂，都是其機(jī)器學(xué)習(xí)的成果。它能概括和弦和和聲，并像人類一樣從大局出發(fā)，將重點(diǎn)放在樂曲的整體結(jié)構(gòu)上，而不是思考一段譜寫一段，簡單機(jī)械地拼湊出下一部分的內(nèi)容。

Bretan把它叫做“高層次的音樂語義學(xué)”。目前來看，Shimon的音樂已經(jīng)達(dá)到了“以假亂真”的境界，我們已經(jīng)無法判斷出它出自機(jī)器人之手。Weinberg用“優(yōu)美、振奮人心、獨(dú)特”來形容Shimon的音樂，我們非常贊同他的評價(jià)：它的音樂整體性和和諧度非常高，同時(shí)別具一格。

為了了解更多的細(xì)節(jié)，我們通過email與Bretan和Weinberg進(jìn)行了交流：

IEEE Spectrum：你們先前上傳了Shimon的演奏視頻，那么，你們是不是特意選取了Shimon的優(yōu)秀作品上傳，而稍微遜色的作品，則沒有上傳呢？

Gil Weinberg：

視頻中的音樂是Shimon運(yùn)用深度學(xué)習(xí)創(chuàng)作的頭兩首曲子，我們并沒有特意選擇。這兩首曲子是Shimon學(xué)習(xí)的成果，它所學(xué)習(xí)到的內(nèi)容讓它擁有了一個(gè)特定的數(shù)據(jù)庫。你可以想象一下，如果我們讓它學(xué)習(xí)的是其他的基礎(chǔ)旋律，那Shimon譜寫出來的曲子將會截然不同。

IEEE Spectrum：如果你們只讓Shimon學(xué)習(xí)一種類型的音樂（比如古典音樂，甚至某位特定作曲家或流派的古典音樂），那Shimon所創(chuàng)作的音樂是不是就能夠可以具有辨識度呢？如果是，可以到達(dá)何種程度呢？

Weinberg：

Shimon的音樂和它的訓(xùn)練內(nèi)容息息相關(guān)，因此，如果我們只訓(xùn)練它吸收一位作曲家（或一種特定音樂流派）的作品，那么它創(chuàng)作出的音樂風(fēng)格將和此位作曲家（或此種音樂流派）非常一致，具有辨識度。不過，影響其作品的還有另外一個(gè)重要參數(shù)，那就是我們給予它的基礎(chǔ)音樂參數(shù)，它能讓Shimon的音樂形成自己的風(fēng)格。

IEEE Spectrum：為什么你訓(xùn)練Shimon同時(shí)吸收樂旨、重復(fù)樂段、小樂句和其他的基礎(chǔ)音樂元素，和完整樂曲？它是如何將這微觀和宏觀的兩者融合在一起的？

Mason Bretan：

我們想讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)重要的結(jié)構(gòu)概念。我們學(xué)習(xí)寫故事，首先必須理解詞、句、段等結(jié)構(gòu)概念。音樂創(chuàng)作也一樣，我們需要理解樂旨、重復(fù)樂段、小樂句、樂章等結(jié)構(gòu)概念。我們鼓勵(lì)Shimon學(xué)習(xí)這些音樂概念，但我們并不是直截了當(dāng)?shù)馗嬖V它“這是樂旨、這是完整樂曲、這是小樂句”，而是動態(tài)地訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓它能夠重新排列組合基礎(chǔ)音樂單位，在前一個(gè)或多個(gè)小節(jié)的基礎(chǔ)上預(yù)測出下一個(gè)小節(jié)的內(nèi)容。

IEEE Spectrum：您能詳細(xì)地描述下Shimon創(chuàng)作原創(chuàng)音樂的過程嗎？

Bretan：

首先，它需要學(xué)習(xí)音樂小片段，比如單個(gè)或多個(gè)節(jié)拍，這個(gè)步驟叫做“神經(jīng)嵌入”，這是最重要的一步。在語言習(xí)得中，你也許聽說過"詞語矢量（word2ve或word to vector）”。何為“詞語矢量”？通俗來說，就是讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)詞語概念（比如“好”、“很好”、“愉快”、“精彩”等表達(dá)相同語義的詞）。音樂創(chuàng)作中也有一個(gè)與此類似的過程，神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)音樂小片段，并需知曉攜帶這些片段的載體。

第二步，它需要學(xué)習(xí)音樂小片段的排列方式，并作出預(yù)測。我們需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)在已有的音樂小節(jié)的基礎(chǔ)上，預(yù)測出下一個(gè)小節(jié)。確切來說，這和一般的機(jī)器人強(qiáng)化學(xué)習(xí)不太一樣。一般來說，機(jī)器人要解決問題，學(xué)習(xí)的是一系列分離的動作。但Shimon的學(xué)習(xí)方式則是持續(xù)的，它連續(xù)不斷地預(yù)測排列方式，一直處于參數(shù)更新的狀態(tài)之中。舉個(gè)例子，如果給出一個(gè)排列組合“1, 2, 1, 2, 1, 2, 1” ，并讓Shimon預(yù)測數(shù)字“2”，那么在訓(xùn)練過程中，其預(yù)測的結(jié)果離“2”越遠(yuǎn)，其更新參數(shù)的強(qiáng)度就越大。因此，只要開始訓(xùn)練，Shimon就處于預(yù)測狀態(tài)之中。這樣連續(xù)不斷下去，最終一首曲子便作成了。

IEEE Spectrum：Shimon有自己的創(chuàng)作風(fēng)格嗎？它創(chuàng)作的音樂和人類創(chuàng)作的音樂有何不同？

Weinberg：

機(jī)器人音樂創(chuàng)作的基本原理就是結(jié)合人類欣賞熱愛的音樂（運(yùn)用機(jī)器聽覺和機(jī)器學(xué)習(xí)）和新的音樂演奏和思考方式（運(yùn)用人類不使用的算法）。深度學(xué)習(xí)架構(gòu)旨在捕捉被人類使用的音樂概念和模式。我們可以在原有的算法上加上以機(jī)器為基礎(chǔ)的數(shù)學(xué)排列，這樣一來，便能生成新奇的音樂。因此，Shimon的音樂聽起來“優(yōu)美、振奮人心、而獨(dú)特”。

IEEE Spectrum： 除了音樂創(chuàng)作，這種學(xué)習(xí)和即興創(chuàng)作技術(shù)還有什么其他的實(shí)際應(yīng)用嗎？

Weinberg：

我們正在將之運(yùn)用在LSTM（長短時(shí)記憶）網(wǎng)絡(luò)和單位選擇方法上，這兩種方法類似于“即興創(chuàng)作”，都可以應(yīng)用于語言建模和語言生成領(lǐng)域。

IEEE Spectrum：那么，你們接下來的計(jì)劃是什么？

Weinberg：

現(xiàn)在，我們已經(jīng)開始計(jì)劃運(yùn)用深度學(xué)習(xí)來讓機(jī)器人學(xué)習(xí)人類的音樂表演方式，而不僅僅是學(xué)習(xí)符號記法。這樣一來，機(jī)器人不僅能學(xué)習(xí)音樂符號，也能通過控制微型計(jì)時(shí)、接合、聲調(diào)等參數(shù)，掌握演奏音樂的方式，因此，其創(chuàng)作的音樂會更豐富、讓人印象更加深刻。

Bretan：

接下來我的重點(diǎn)將轉(zhuǎn)到機(jī)器人與人類的差別中來。Shimon有四只手臂，那么相比于兩只手臂、十根手指的人類，其創(chuàng)作的音樂有何不同？四肢手臂又是如何影響音樂創(chuàng)作的呢？這個(gè)問題，我們還有待研究。

Via: IEEE Spectrum

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。