[閒聊] AI採譜

ACG點

某些小眾動漫粉 特別熱衷於把ACG曲改編成鋼琴譜

然後其實本來就有好幾個軟體能用 但效果都不是很好

但半年前出的這個新的 個人覺得算進展一大步吧

以下是一些DEMO 給AI聽三首原曲 輸出MIDI

原曲1
https://youtu.be/dJ0Xcu0vJNU

原曲2
https://youtu.be/pOAf4UoqFq0

原曲3
https://youtu.be/T_D_pp283nw

結果: AI聽了上面的音樂之後輸出的MIDI
https://youtu.be/Uy65VfiXJ0M

注意到這個軟體還只能鋼琴轉MIDI而已

不能多樂器 也不能從MIDI轉成樂譜(雖然可以搭配其他工具做到)

這軟體其實是一家名為字節跳動的公司 裡面的員工發佈的論文

(字節跳動就是 抖音的公司)

之前最頂尖是google brain 2018出的一篇論文

而這篇超過google那篇

大概看了一下論文 google原本最小的frame size(最短時間單位)是32 ms

而這篇新的 用類似內插的方式去算按下琴鍵的時間點(onset)

可以說在按下琴鍵的解析度上遠比32 ms好

然後這篇還多預測踏板跟放開琴鍵的時間點(offset)

onset跟offset的準度有多重要呢

舉個例子 王羽佳演奏的大黃蜂的飛行 Cziffra改編版

BPM=108 一拍要按8次

所以每秒要按14.4次 每次的時間69.4 ms

google那篇解析度32 ms 明顯是不夠用的

實際差距可以聽聽看以下影片

https://youtu.be/OknF2KVJnRM

對於ACG採譜者的影響

大概是以後不用靠耳朵 可以用眼睛把別人彈奏的ACG曲直接寫下來

而對於做MIX的人來說

以前有一段想用的音樂 要不直接當一軌音軌 要不自己聽過寫下來

如果想做細節或是風格的編輯 就一定要寫下來

但現在能夠直接生成MIDI的話 就能省去寫下來的功夫

直接對生成的MIDI編輯就可以了

對於做音樂生成的人

比起對音訊檔去做分析

MIDI可以說是更加簡潔的表示式

所以說要training什麼的也會比較方便

這篇其中一個貢獻就是把古典鋼琴轉成MIDI的dataset

以前要有這種dataset非常麻煩

要請鋼琴家在能夠精確測量的鋼琴上演奏才能收集數據

參考資料 提供給有興趣的人

1.軟體載點
https://github.com/bytedance/GiantMIDI-Piano
2.簡易安裝教學
https://youtu.be/2gRfhL_TAvU
3.這篇論文
https://arxiv.org/abs/2010.01815
4.google論文
https://arxiv.org/abs/1710.11153
5.一些中文討論
https://www.bilibili.com/video/BV1e5411E7vA
6.關於這個議題的更多介紹
https://bit.ly/2NkUiM1

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.58.75 (臺灣)

我打錯 謝謝提醒

※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:35:52

經板友提醒 補充說明

※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:43:42