Estrutura Versátil para Geração de Músicas com Controle Baseado em Prompts

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Autores: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Resumo

A geração de músicas concentra-se na produção de canções de alta qualidade e controláveis com base em diversos prompts. No entanto, os métodos existentes enfrentam dificuldades para gerar vocais e acompanhamentos com controle baseado em prompts e alinhamento adequado. Além disso, eles não conseguem suportar diversas tarefas. Para resolver esses desafios, apresentamos o VersBand, um framework de geração de músicas multitarefa para sintetizar canções de alta qualidade e alinhadas com controle baseado em prompts. O VersBand é composto pelos seguintes modelos principais: 1) O VocalBand, um modelo desacoplado, utiliza o método de correspondência de fluxo (flow-matching) para gerar estilos de canto, afinações e mel-espectrogramas, permitindo a geração rápida e de alta qualidade de vocais com controle de estilo. 2) O AccompBand, um modelo baseado em fluxo e transformador, incorpora o Band-MOE, selecionando especialistas adequados para melhorar a qualidade, o alinhamento e o controle. Esse modelo permite a geração de acompanhamentos controláveis e de alta qualidade alinhados com os vocais. 3) Dois modelos de geração, o LyricBand para letras e o MelodyBand para melodias, contribuem para o sistema abrangente de geração de músicas multitarefa, permitindo um controle extensivo com base em múltiplos prompts. Os resultados experimentais demonstram que o VersBand supera os modelos de referência em várias tarefas de geração de músicas, utilizando métricas objetivas e subjetivas. Amostras de áudio estão disponíveis em https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.