MuPT: 생성형 심볼릭 음악 사전 학습 트랜스포머

MuPT: A Generative Symbolic Music Pretrained Transformer

April 9, 2024

저자: Xingwei Qu, Yuelin Bai, Yinghao Ma, Ziya Zhou, Ka Man Lo, Jiaheng Liu, Ruibin Yuan, Lejun Min, Xueling Liu, Tianyu Zhang, Xinrun Du, Shuyue Guo, Yiming Liang, Yizhi Li, Shangda Wu, Junting Zhou, Tianyu Zheng, Ziyang Ma, Fengze Han, Wei Xue, Gus Xia, Emmanouil Benetos, Xiang Yue, Chenghua Lin, Xu Tan, Stephen W. Huang, Wenhu Chen, Jie Fu, Ge Zhang

cs.AI

초록

본 논문에서는 대규모 언어 모델(LLM)을 음악 사전 학습에 적용하는 방법을 탐구합니다. 음악 모델링에서 MIDI의 보편적인 사용은 잘 정립되어 있지만, 우리의 연구 결과에 따르면 LLM은 ABC 표기법과 본질적으로 더 호환성이 높으며, 이는 모델의 설계와 강점과 더 잘 부합하여 음악 작곡에서의 성능을 향상시킵니다. 생성 과정에서 서로 다른 트랙 간의 조율되지 않은 마디와 관련된 문제를 해결하기 위해, 우리는 다중 트랙 간의 일관성을 유지하기 위한 동기화된 다중 트랙 ABC 표기법(SMT-ABC Notation)의 개발을 제안합니다. 우리의 기여에는 훈련 데이터셋의 90%를 커버하는 8192개의 토큰까지 처리할 수 있는 일련의 모델이 포함됩니다. 또한, 우리는 기호 음악 스케일링 법칙(SMS Law)이 모델 성능에 미치는 영향을 탐구합니다. 연구 결과는 음악 생성 분야의 미래 연구를 위한 유망한 방향을 제시하며, 오픈소스 기여를 통해 커뮤니티 주도 연구를 위한 광범위한 자원을 제공합니다.

English

In this paper, we explore the application of Large Language Models (LLMs) to the pre-training of music. While the prevalent use of MIDI in music modeling is well-established, our findings suggest that LLMs are inherently more compatible with ABC Notation, which aligns more closely with their design and strengths, thereby enhancing the model's performance in musical composition. To address the challenges associated with misaligned measures from different tracks during generation, we propose the development of a Synchronized Multi-Track ABC Notation (SMT-ABC Notation), which aims to preserve coherence across multiple musical tracks. Our contributions include a series of models capable of handling up to 8192 tokens, covering 90\% of the symbolic music data in our training set. Furthermore, we explore the implications of the Symbolic Music Scaling Law (SMS Law) on model performance. The results indicate a promising direction for future research in music generation, offering extensive resources for community-led research through our open-source contributions.