Framework Versatile per la Generazione di Brani Musicali con Controllo Basato su Prompt

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Autori: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Abstract

La generazione di canzoni si concentra sulla produzione di brani di alta qualità e controllabili basati su vari prompt. Tuttavia, i metodi esistenti faticano a generare voci e accompagnamenti con un controllo basato sui prompt e un allineamento corretto. Inoltre, non sono in grado di supportare adeguatamente varie task. Per affrontare queste sfide, introduciamo VersBand, un framework multi-task per la generazione di canzoni che sintetizza brani di alta qualità, allineati e controllabili tramite prompt. VersBand comprende i seguenti modelli principali: 1) VocalBand, un modello disaccoppiato, sfrutta il metodo di flow-matching per generare stili vocali, altezze e mel-spettrogrammi, consentendo una generazione vocale rapida e di alta qualità con controllo dello stile. 2) AccompBand, un modello transformer basato su flow, incorpora il Band-MOE, selezionando esperti adatti per migliorare qualità, allineamento e controllo. Questo modello permette di generare accompagnamenti controllabili e di alta qualità, allineati con le voci. 3) Due modelli di generazione, LyricBand per i testi e MelodyBand per le melodie, contribuiscono al sistema completo di generazione multi-task di canzoni, consentendo un controllo esteso basato su più prompt. I risultati sperimentali dimostrano che VersBand supera i modelli di riferimento in diverse task di generazione di canzoni, utilizzando metriche sia oggettive che soggettive. Campioni audio sono disponibili al link https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.