Vielseitiges Framework zur Songgenerierung mit promptbasierter Steuerung

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Autoren: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Zusammenfassung

Die Songgenerierung konzentriert sich darauf, kontrollierbare, hochwertige Songs basierend auf verschiedenen Eingabeaufforderungen zu erzeugen. Allerdings haben bestehende Methoden Schwierigkeiten, Gesang und Begleitung mit prompt-basierter Kontrolle und korrekter Ausrichtung zu generieren. Zudem unterstützen sie verschiedene Aufgaben nur unzureichend. Um diese Herausforderungen zu bewältigen, stellen wir VersBand vor, ein Multi-Task-Songgenerierungsframework zur Synthese von hochwertigen, ausgerichteten Songs mit prompt-basierter Kontrolle. VersBand besteht aus folgenden Hauptmodellen: 1) VocalBand, ein entkoppeltes Modell, das die Flow-Matching-Methode zur Generierung von Gesangsstilen, Tonhöhen und Mel-Spektrogrammen nutzt und so eine schnelle, hochwertige Gesangsgenerierung mit Stilkontrolle ermöglicht. 2) AccompBand, ein Flow-basiertes Transformer-Modell, integriert das Band-MOE, das geeignete Experten für verbesserte Qualität, Ausrichtung und Kontrolle auswählt. Dieses Modell ermöglicht die Generierung von kontrollierbaren, hochwertigen Begleitungen, die mit dem Gesang abgestimmt sind. 3) Zwei Generierungsmodelle, LyricBand für Texte und MelodyBand für Melodien, tragen zum umfassenden Multi-Task-Songgenerierungssystem bei und ermöglichen eine umfangreiche Kontrolle basierend auf mehreren Eingabeaufforderungen. Experimentelle Ergebnisse zeigen, dass VersBand in mehreren Songgenerierungsaufgaben sowohl in objektiven als auch subjektiven Metriken besser abschneidet als Baseline-Modelle. Audio-Beispiele sind unter https://VersBand.github.io verfügbar.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.