Marco Versátil para la Generación de Canciones con Control Basado en Indicaciones

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Autores: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Resumen

La generación de canciones se centra en producir canciones de alta calidad y controlables basadas en diversos estímulos. Sin embargo, los métodos existentes tienen dificultades para generar voces y acompañamientos con control basado en estímulos y una alineación adecuada. Además, no logran soportar diversas tareas. Para abordar estos desafíos, presentamos VersBand, un marco de generación de canciones multitarea que sintetiza canciones de alta calidad, alineadas y con control basado en estímulos. VersBand consta de los siguientes modelos principales: 1) VocalBand, un modelo desacoplado, aprovecha el método de emparejamiento de flujo para generar estilos de canto, tonos y mel-espectrogramas, permitiendo una generación vocal rápida y de alta calidad con control de estilo. 2) AccompBand, un modelo transformador basado en flujo, incorpora el Band-MOE, seleccionando expertos adecuados para mejorar la calidad, alineación y control. Este modelo permite generar acompañamientos controlables y de alta calidad alineados con las voces. 3) Dos modelos de generación, LyricBand para letras y MelodyBand para melodías, contribuyen al sistema integral de generación de canciones multitarea, permitiendo un control extenso basado en múltiples estímulos. Los resultados experimentales demuestran que VersBand supera a los modelos de referencia en múltiples tareas de generación de canciones utilizando métricas objetivas y subjetivas. Las muestras de audio están disponibles en https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.