JAM: Миниатюрный генератор песен на основе потоков с детализированной управляемостью и эстетической согласованностью

JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment

July 28, 2025

Авторы: Renhang Liu, Chia-Yu Hung, Navonil Majumder, Taylor Gautreaux, Amir Ali Bagherzadeh, Chuan Li, Dorien Herremans, Soujanya Poria

cs.AI

Аннотация

Модели диффузии и согласования потоков произвели революцию в автоматической генерации аудио из текста в последнее время. Эти модели становятся всё более способными генерировать высококачественные и точные аудиовыходы, воспроизводящие речь и акустические события. Однако в области творческой генерации аудио, которая в основном включает музыку и песни, всё ещё остаётся значительный потенциал для улучшения. Недавние открытые модели генерации песен из текста, такие как DiffRhythm, ACE-Step и LeVo, установили приемлемый стандарт в автоматической генерации песен для развлекательных целей. Тем не менее, эти модели не обладают детализированным управлением на уровне слов, которое часто требуется музыкантам в их рабочих процессах. Насколько нам известно, наша модель JAM, основанная на согласовании потоков, является первой попыткой внедрить управление временем и длительностью на уровне слов в генерации песен, обеспечивая детализированный контроль над вокалом. Для повышения качества генерируемых песен и их лучшего соответствия человеческим предпочтениям мы реализуем эстетическое согласование с помощью оптимизации прямых предпочтений, которая итеративно улучшает модель, используя синтетический набор данных, устраняя необходимость в ручной аннотации данных. Кроме того, мы стремимся стандартизировать оценку таких моделей генерации песен из текста с помощью нашего публичного набора данных для оценки JAME. Мы показываем, что JAM превосходит существующие модели по параметрам, специфичным для музыки.

English

Diffusion and flow-matching models have revolutionized automatic text-to-audio generation in recent times. These models are increasingly capable of generating high quality and faithful audio outputs capturing to speech and acoustic events. However, there is still much room for improvement in creative audio generation that primarily involves music and songs. Recent open lyrics-to-song models, such as, DiffRhythm, ACE-Step, and LeVo, have set an acceptable standard in automatic song generation for recreational use. However, these models lack fine-grained word-level controllability often desired by musicians in their workflows. To the best of our knowledge, our flow-matching-based JAM is the first effort toward endowing word-level timing and duration control in song generation, allowing fine-grained vocal control. To enhance the quality of generated songs to better align with human preferences, we implement aesthetic alignment through Direct Preference Optimization, which iteratively refines the model using a synthetic dataset, eliminating the need or manual data annotations. Furthermore, we aim to standardize the evaluation of such lyrics-to-song models through our public evaluation dataset JAME. We show that JAM outperforms the existing models in terms of the music-specific attributes.