Универсальная платформа для генерации песен с управлением на основе промптов

Versatile Framework for Song Generation with Prompt-based Control

April 27, 2025

Авторы: Yu Zhang, Wenxiang Guo, Changhao Pan, Zhiyuan Zhu, Ruiqi Li, Jingyu Lu, Rongjie Huang, Ruiyuan Zhang, Zhiqing Hong, Ziyue Jiang, Zhou Zhao

cs.AI

Аннотация

Генерация песен сосредоточена на создании управляемых высококачественных композиций на основе различных запросов. Однако существующие методы испытывают трудности с генерацией вокала и аккомпанемента с управлением на основе запросов и правильным согласованием. Кроме того, они недостаточно поддерживают различные задачи. Для решения этих проблем мы представляем VersBand — многофункциональную систему генерации песен, предназначенную для синтеза высококачественных, согласованных композиций с управлением на основе запросов. VersBand включает следующие основные модели: 1) VocalBand, разделенная модель, использующая метод flow-matching для генерации стилей пения, высоты тона и мел-спектрограмм, что позволяет быстро создавать высококачественный вокал с контролем стиля. 2) AccompBand, трансформерная модель на основе потоков, включает Band-MOE, выбирая подходящие эксперты для повышения качества, согласования и управления. Эта модель позволяет генерировать управляемые, высококачественные аккомпанементы, согласованные с вокалом. 3) Две модели генерации, LyricBand для текста и MelodyBand для мелодий, вносят вклад в комплексную систему многофункциональной генерации песен, обеспечивая широкий контроль на основе множества запросов. Результаты экспериментов показывают, что VersBand превосходит базовые модели в различных задачах генерации песен по объективным и субъективным метрикам. Аудиообразцы доступны по адресу https://VersBand.github.io.

English

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://VersBand.github.io.