SongGen: Ein einstufiger autoregressiver Transformer für die Text-zu-Song-Generierung

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Autoren: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Text-to-Song-Generierung, die Aufgabe, Gesang und Begleitung aus textuellen Eingaben zu erstellen, stellt aufgrund der Komplexität des Bereichs und der Datenknappheit erhebliche Herausforderungen dar. Bestehende Ansätze verwenden oft mehrstufige Generierungsverfahren, was zu umständlichen Trainings- und Inferenz-Pipelines führt. In diesem Artikel schlagen wir SongGen vor, ein vollständig quelloffenes, einstufiges autoregressives Transformer-Modell, das für kontrollierbare Song-Generierung entwickelt wurde. Das vorgeschlagene Modell ermöglicht eine fein abgestimmte Kontrolle über verschiedene musikalische Attribute, einschließlich Texten und textuellen Beschreibungen von Instrumentierung, Genre, Stimmung und Klangfarbe, während es auch einen optionalen dreisekündigen Referenzclip für das Klonen von Stimmen bietet. Innerhalb eines einheitlichen autoregressiven Frameworks unterstützt SongGen zwei Ausgabemodi: den Mixed-Modus, der eine Mischung aus Gesang und Begleitung direkt erzeugt, und den Dual-Track-Modus, der sie separat synthetisiert, um eine größere Flexibilität in nachgelagerten Anwendungen zu ermöglichen. Wir untersuchen verschiedene Token-Muster-Strategien für jeden Modus, was zu bemerkenswerten Verbesserungen und wertvollen Erkenntnissen führt. Darüber hinaus entwerfen wir eine automatisierte Datenvorverarbeitungs-Pipeline mit effektiver Qualitätskontrolle. Um die Gemeinschaftsarbeit und zukünftige Forschung zu fördern, werden wir unsere Modellgewichte, Trainingscode, annotierte Daten und Vorverarbeitungs-Pipeline veröffentlichen. Die generierten Beispiele werden auf unserer Projektseite unter https://liuzh-19.github.io/SongGen/ präsentiert, und der Code wird unter https://github.com/LiuZH-19/SongGen verfügbar sein.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .