SongGen: Un Transformer Autoregresivo de Etapa Única para la Generación de Texto a Canción

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Autores: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Resumen

La generación de canciones a partir de texto, la tarea de crear voces y acompañamiento a partir de entradas textuales, presenta desafíos significativos debido a la complejidad del dominio y la escasez de datos. Los enfoques existentes suelen emplear procedimientos de generación en múltiples etapas, lo que resulta en pipelines de entrenamiento e inferencia engorrosos. En este artículo, proponemos SongGen, un transformador auto-regresivo de una sola etapa, completamente de código abierto, diseñado para la generación controlada de canciones. El modelo propuesto facilita un control detallado sobre diversos atributos musicales, incluyendo letras y descripciones textuales de instrumentación, género, estado de ánimo y timbre, además de ofrecer un clip de referencia opcional de tres segundos para la clonación de voz. Dentro de un marco auto-regresivo unificado, SongGen admite dos modos de salida: modo mixto, que genera directamente una mezcla de voces y acompañamiento, y modo de doble pista, que los sintetiza por separado para mayor flexibilidad en aplicaciones posteriores. Exploramos diversas estrategias de patrones de tokens para cada modo, lo que conduce a mejoras notables y aporta valiosos conocimientos. Además, diseñamos un pipeline de preprocesamiento de datos automatizado con un control de calidad efectivo. Para fomentar la participación de la comunidad y futuras investigaciones, liberaremos nuestros pesos del modelo, código de entrenamiento, datos anotados y pipeline de preprocesamiento. Las muestras generadas se muestran en nuestra página del proyecto en https://liuzh-19.github.io/SongGen/, y el código estará disponible en https://github.com/LiuZH-19/SongGen.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .