노래창작자: 가사 기반 범용 노래 생성

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

저자: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

초록

음악은 인간 문화의 필수 요소로, 인간 지성과 창의력을 대표하며, 그 중에서 노래는 중요한 부분을 차지합니다. 이전 연구들에서는 노래 생성의 다양한 측면이 탐구되었지만, 노래 생성에 있어 가사가 주어졌을 때 보컬과 반주를 모두 생성하는 것은 여전히 중요한 과제로 남아 있어 실제 세계에서 음악 생성 모델의 적용을 방해합니다. 이에 우리는 이 문제에 대처하기 위해 설계된 노래 생성 시스템인 SongCreator를 제안합니다. 이 모델은 두 가지 혁신적인 설계를 특징으로 합니다: 보컬과 반주 정보를 캡처하기 위한 세심하게 설계된 이중 시퀀스 언어 모델(DSLM)과 DSLM을 위한 추가적인 어텐션 마스크 전략을 특징으로 하는데, 이를 통해 우리 모델은 노래를 이해하고 생성하며 편집하여 다양한 노래 생성 작업에 적합해집니다. 광범위한 실험 결과는 SongCreator의 효과를 입증하며, 모든 여덟 가지 작업에서 최첨단 또는 경쟁력 있는 성과를 달성합니다. 특히, 가사에서 노래, 가사에서 보컬 작업에서 이전 연구를 크게 앞서나갑니다. 또한, 생성된 노래에서 보컬과 반주의 음향 조건을 서로 독립적으로 제어할 수 있어 다양한 프롬프트를 통해 잠재적으로 적용 가능함을 나타냅니다. 우리의 샘플은 https://songcreator.github.io/에서 확인할 수 있습니다.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.