SongGen: Een Enkelfase Auto-regressieve Transformer voor Tekst-naar-Lied Generatie

SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

February 18, 2025

Auteurs: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Text-to-song-generatie, de taak om vocalen en begeleiding te creëren vanuit tekstuele invoer, brengt aanzienlijke uitdagingen met zich mee vanwege de complexiteit van het domein en de schaarste aan data. Bestaande benaderingen maken vaak gebruik van meerfasige generatieprocedures, wat resulteert in omslachtige trainings- en inferentiepijplijnen. In dit artikel stellen we SongGen voor, een volledig open-source, enkelfasig auto-regressief transformer-model ontworpen voor controleerbare songgeneratie. Het voorgestelde model maakt fijnmazige controle mogelijk over diverse muzikale attributen, waaronder songteksten en tekstuele beschrijvingen van instrumentatie, genre, stemming en timbre, terwijl het ook een optionele drie seconden durende referentieclip biedt voor stemklonen. Binnen een geünificeerd auto-regressief raamwerk ondersteunt SongGen twee uitvoermodi: de gemengde modus, die direct een mix van vocalen en begeleiding genereert, en de dual-track modus, die ze afzonderlijk synthetiseert voor meer flexibiliteit in downstream-toepassingen. We onderzoeken diverse tokenpatroonstrategieën voor elke modus, wat leidt tot opmerkelijke verbeteringen en waardevolle inzichten. Daarnaast ontwerpen we een geautomatiseerde data-preprocessingpijplijn met effectieve kwaliteitscontrole. Om gemeenschapsbetrokkenheid en toekomstig onderzoek te bevorderen, zullen we onze modelgewichten, trainingscode, geannoteerde data en preprocessingpijplijn vrijgeven. De gegenereerde voorbeelden worden getoond op onze projectpagina op https://liuzh-19.github.io/SongGen/, en de code zal beschikbaar zijn op https://github.com/LiuZH-19/SongGen.

English

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .