AI研究院 | 人工智慧是如何通過演算法進行舞步設計的？

【編者按：《AI研究院》由網易智能頻道與杭州研究院共同打造，每日一篇，專註AI行業研究與深度分析，並提供技術應用交流。轉載請聯繫我們獲得授權，公號 smartman163）】

【網易智能訊 3月26日消息】「勁舞革命」是少數幾款能讓玩家玩到出汗的電腦遊戲之一，而它在人工智慧的幫助下越來越完美了。

這款遊戲屬於街機遊戲。玩家們站在一個金屬的方形墊子上，上面有上、下、左、右四個按鍵，你只要按照屏幕上的提示按正確的順序踩出正確的箭頭就可以了。每一版的勁舞革命都配套著一系列完整的曲目。它是這樣播放的：

它會循環播放一首音樂，直到你厭倦了已經播放了一遍又一遍的旋律。但別忘了，現在你可以用機器學習來為任何歌曲或你喜歡的歌曲設計舞蹈模式。

本周，加州大學聖地亞哥分校的一組研究人員在arXiv上發表的一篇論文中描述了勁舞迴旋。它是一種人工智慧系統，可以用來生成任何想要的歌曲的舞步圖。

勁舞革命(DDR)於1998年在日本首次出現，這種狂熱很快蔓延到歐洲和美國。勁舞革命（DDR）是一個嚴肅的話題。今年2月，克里斯?奇客（Chris Chike）贏得了勁舞大賽世界冠軍，她很擅長節奏按鈕類遊戲，她還擅長吉他英雄，一款彈奏類似於吉他形狀的控制器的遊戲。不過之後，奇客（Chike）宣布要暫時休息一段時間，因為他的右手食指因重複拉傷而失去了知覺。

像奇客（Chike）這樣的勁舞舞者，甚至是你，都很可能在平時訓練中用光了有限的舞步設計。幸運的是，有一些開源工具，比如StepMania，可以讓勁舞愛好者們自己製作舞步圖。

遊戲玩家還可以自行設計舞步的難度，但是由於音樂版權的原因，這一點很難做到：玩家既需要不同水平舞步的模式數據，也需要記錄一個相關副本。設計師們可能會被禁止發行拷貝的未經授權的音樂，導致他們的才華沒法被大眾所知。現在，遊戲玩家們可以用自己最喜歡的熱門歌曲，利用勁舞迴旋人工智慧來為自己設計出體面的舞步。

這些舞步沒有經過開發者設計，玩的時候需要尋找源音樂。就拿你自己的音樂，用人工智慧創造自己的舞步吧。現在已經有軟體可以自動地根據一個給定的音樂文件生成一些舞步，但是，勁舞迴旋的意義在於它是一個優秀的舞蹈設計師，幾乎和人類設計師一樣優秀。

以下是舞蹈迴旋人工智慧的運行方式。首先，像音高和節奏這些特徵必須先從一個音頻文件中提取出來，把它轉換成聲譜圖，然後用張量把它表示出來(一個類似於矢量的數學形式)，之後再使用演算法處理。

接下來，一種由卷積神經網路和循環神經網路組成的「舞步位置」演算法，將原始音頻處理成10毫秒單位長的片段。該論文的合著者、加州大學聖地亞哥分校的研究人員聖扎迦利利普頓（Zachary Lipton）解釋說，這個演算法可以計算出舞步應該放置的適當位置。

最後，「步驟選擇」演算法會把之前計算的每個舞步放置的時間列成表，並把它們映射到勁舞革命（DDR）遊戲中的舞蹈動作。

（來源：Donahue et al）

勁舞革命的最初開發者也對其讚歎有加。

該系統包含兩個不同的資料庫，其中一個是由一個叫Fraxtil的勁舞革命愛好者創建的，它包含90首歌曲，每首歌分為5個難度級別。第二個資料庫有好幾位作者，其中有133首歌曲，不同難度的曲目列在不同的圖表中，只有13首歌曲缺乏最難級別。

這兩組數據都為研究人員提供了長達35小時的帶有標註的音樂段子和35萬個舞步。該舞蹈模式傾向於模仿音樂結構，難度越高的舞步是由更複雜的音樂模式產生的。

「多年來，我看到了許多自動生成舞步圖的嘗試，這是迄今為止最成功的一次。」我最欣賞的是它能分析出各種不同的樂器的音色，以及能在適當的時候選擇合適的樂器。

這就是說，即使無視任何節奏或模式的錯誤，也能很容易辨別出哪些音樂片段是合成的。Fraxtil告訴The Register：「在舞步圖中，有很多富有創造性的舞步設計，主要是選擇性地重複使用和做對比，人工智慧要麼不能使用，要麼不能高效地應用。」

製作好的舞步圖並不是一件微不足道的事情。Fraxtil已經為這個遊戲進行了8年的舞步設計，並且對他們的工作的最後四年感到很滿意。「這都是非常主觀的事情，但只有當你將表演藝術家的舞步在自己的舞蹈設計中重現出來的時候，你才會開始了解哪些舞步是在舞台上有用的，哪些是沒用的。」

這並不是單純的遊戲和樂趣，這項研究背後有很高的學術價值。加州大學聖地亞哥音樂學院的研究員克里斯多納休(Chris Donahue)也是該論文的合著者，當他想要了解更多關於音樂信息檢索(MIR)的信息時，這個勁舞迴旋人工智慧項目已經開始了。

「如果電腦繼續參與協助人類在音樂方面的消費和生產，音樂信息檢索至關重要。」音樂是一種極其複雜的東西，如果我們試圖直接從音頻中提取高級信息，這就要求計算機不僅要進行信號處理，還要識別處理人類的聲音和周遭環境的聲音。「

我想在MIR做研究，但發現很難獲得與大多數數據集相關的音頻。」有一天，我突然想到，用舊硬碟中無數的勁舞革命數據來通過神經網路提取音樂節奏數據。有時候，我又想，為什麼不試著創造出與節奏一致的箭頭序列呢?」Donahue對The Register說。

想玩嗎?

立普頓（Lipton）說，完整的源代碼將在官方公布的研究報告中公布。但是，如果你想要給你最喜歡的歌曲設計舞步，請點擊在線版本的勁舞迴旋人工智慧的鏈接

（英文來源/theregister 編譯/機器小易 審校/雨蛋）

推薦閱讀：