Cadre Polyvalent pour la Génération de Chansons avec Contrôle par Invites

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Auteurs: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Résumé

La génération de chansons se concentre sur la production de chansons de haute qualité et contrôlables à partir de divers prompts. Cependant, les méthodes existantes peinent à générer des voix et des accompagnements avec un contrôle basé sur les prompts et un alignement approprié. De plus, elles ne parviennent pas à supporter diverses tâches. Pour relever ces défis, nous introduisons VersBand, un framework de génération de chansons multi-tâches permettant de synthétiser des chansons de haute qualité, alignées et contrôlables via des prompts. VersBand comprend les modèles principaux suivants : 1) VocalBand, un modèle découplé, qui exploite la méthode de flow-matching pour générer des styles de chant, des hauteurs et des mel-spectrogrammes, permettant une génération vocale rapide et de haute qualité avec contrôle du style. 2) AccompBand, un modèle transformer basé sur les flows, qui intègre le Band-MOE, sélectionnant des experts adaptés pour améliorer la qualité, l'alignement et le contrôle. Ce modèle permet de générer des accompagnements contrôlables et de haute qualité alignés avec les voix. 3) Deux modèles de génération, LyricBand pour les paroles et MelodyBand pour les mélodies, contribuent au système complet de génération de chansons multi-tâches, permettant un contrôle étendu basé sur plusieurs prompts. Les résultats expérimentaux démontrent que VersBand surpasse les modèles de référence dans plusieurs tâches de génération de chansons, selon des métriques objectives et subjectives. Des échantillons audio sont disponibles à l'adresse https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.