SongGen: Un Trasformatore Auto-regressivo a Singolo Stadio per la Generazione di Canzoni da Testo

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Autori: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Abstract

La generazione di canzoni da testo, il compito di creare voci e accompagnamenti a partire da input testuali, presenta sfide significative a causa della complessità del dominio e della scarsità di dati. Gli approcci esistenti spesso impiegano procedure di generazione multi-stadio, risultando in pipeline di addestramento e inferenza macchinose. In questo articolo, proponiamo SongGen, un trasformatore auto-regressivo a singolo stadio completamente open-source, progettato per la generazione controllata di canzoni. Il modello proposto facilita un controllo fine su diversi attributi musicali, inclusi i testi e le descrizioni testuali di strumentazione, genere, umore e timbro, offrendo anche un clip di riferimento opzionale di tre secondi per il clonaggio della voce. All'interno di un framework auto-regressivo unificato, SongGen supporta due modalità di output: la modalità mista, che genera direttamente un mix di voci e accompagnamento, e la modalità dual-track, che li sintetizza separatamente per una maggiore flessibilità nelle applicazioni a valle. Esploriamo diverse strategie di pattern di token per ciascuna modalità, ottenendo miglioramenti significativi e intuizioni preziose. Inoltre, progettiamo una pipeline di pre-elaborazione dei dati automatizzata con un efficace controllo di qualità. Per favorire il coinvolgimento della comunità e la ricerca futura, rilasceremo i pesi del nostro modello, il codice di addestramento, i dati annotati e la pipeline di pre-elaborazione. I campioni generati sono mostrati sulla nostra pagina del progetto all'indirizzo https://liuzh-19.github.io/SongGen/, e il codice sarà disponibile all'indirizzo https://github.com/LiuZH-19/SongGen.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .