SongGen: Одноэтапный авторегрессивный трансформер для генерации песен из текста

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Авторы: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Генерация песен из текста, задача создания вокала и аккомпанемента на основе текстовых входных данных, представляет значительные сложности из-за сложности предметной области и недостатка данных. Существующие подходы часто используют многоэтапные процедуры генерации, что приводит к громоздким процессам обучения и вывода. В данной работе мы предлагаем SongGen, полностью открытую одноэтапную авторегрессивную трансформерную модель, предназначенную для управляемой генерации песен. Предложенная модель обеспечивает детальный контроль над различными музыкальными атрибутами, включая текст песни и текстовые описания инструментовки, жанра, настроения и тембра, а также предлагает опциональный трехсекундный референсный фрагмент для клонирования голоса. В рамках единой авторегрессивной структуры SongGen поддерживает два режима вывода: смешанный режим, который напрямую генерирует микс вокала и аккомпанемента, и двухтрековый режим, который синтезирует их отдельно для большей гибкости в последующих приложениях. Мы исследуем различные стратегии токенизации для каждого режима, что приводит к значительным улучшениям и ценным инсайтам. Кроме того, мы разрабатываем автоматизированный конвейер предобработки данных с эффективным контролем качества. Для вовлечения сообщества и будущих исследований мы опубликуем веса модели, код обучения, аннотированные данные и конвейер предобработки. Сгенерированные примеры представлены на нашей странице проекта по адресу https://liuzh-19.github.io/SongGen/, а код будет доступен по адресу https://github.com/LiuZH-19/SongGen.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .