Veelzijdig Framework voor Songgeneratie met Prompt-gebaseerde Controle

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Auteurs: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Samenvatting

Songgeneratie richt zich op het produceren van controleerbare, hoogwaardige liedjes op basis van verschillende prompts. Bestaande methoden hebben echter moeite met het genereren van vocalen en begeleidingen met prompt-gebaseerde controle en juiste uitlijning. Daarnaast schieten ze tekort in het ondersteunen van diverse taken. Om deze uitdagingen aan te pakken, introduceren we VersBand, een multi-task raamwerk voor songgeneratie dat hoogwaardige, uitgelijnde liedjes synthetiseert met prompt-gebaseerde controle. VersBand bestaat uit de volgende primaire modellen: 1) VocalBand, een ontkoppeld model, maakt gebruik van de flow-matching methode voor het genereren van zangstijlen, toonhoogtes en mel-spectrogrammen, waardoor snelle, hoogwaardige vocaalgeneratie met stijlcontrole mogelijk is. 2) AccompBand, een flow-gebaseerd transformermodel, integreert de Band-MOE, waarbij geschikte experts worden geselecteerd voor verbeterde kwaliteit, uitlijning en controle. Dit model maakt het mogelijk om controleerbare, hoogwaardige begeleidingen te genereren die zijn uitgelijnd met de vocalen. 3) Twee generatiemodellen, LyricBand voor teksten en MelodyBand voor melodieën, dragen bij aan het uitgebreide multi-task songgeneratiesysteem, waardoor uitgebreide controle op basis van meerdere prompts mogelijk is. Experimentele resultaten tonen aan dat VersBand beter presteert dan baseline-modellen bij verschillende songgeneratietaken, zowel op objectieve als subjectieve metrieken. Audiovoorbeelden zijn beschikbaar op https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.