SongGen: Um Transformador Autorregressivo de Estágio Único para Geração de Texto para Música

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Autores: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Resumo

A geração de texto para música, a tarefa de criar vocais e acompanhamento a partir de entradas textuais, apresenta desafios significativos devido à complexidade do domínio e à escassez de dados. As abordagens existentes frequentemente empregam procedimentos de geração em múltiplos estágios, resultando em pipelines de treinamento e inferência complicados. Neste artigo, propomos o SongGen, um transformer auto-regressivo de estágio único e totalmente de código aberto, projetado para geração controlada de músicas. O modelo proposto facilita o controle refinado sobre diversos atributos musicais, incluindo letras e descrições textuais de instrumentação, gênero, humor e timbre, além de oferecer um clipe de referência opcional de três segundos para clonagem de voz. Dentro de um framework auto-regressivo unificado, o SongGen suporta dois modos de saída: modo misto, que gera uma mistura de vocais e acompanhamento diretamente, e modo de faixa dupla, que os sintetiza separadamente para maior flexibilidade em aplicações posteriores. Exploramos diversas estratégias de padrão de tokens para cada modo, resultando em melhorias notáveis e insights valiosos. Além disso, projetamos um pipeline automatizado de pré-processamento de dados com controle de qualidade eficaz. Para promover o engajamento da comunidade e pesquisas futuras, disponibilizaremos os pesos do modelo, código de treinamento, dados anotados e pipeline de pré-processamento. As amostras geradas são exibidas em nossa página do projeto em https://liuzh-19.github.io/SongGen/, e o código estará disponível em https://github.com/LiuZH-19/SongGen.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .