JAM : Un générateur de chansons basé sur des flux de petite taille avec une contrôlabilité fine et un alignement esthétique

JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment

July 28, 2025

papers.authors: Renhang Liu, Chia-Yu Hung, Navonil Majumder, Taylor Gautreaux, Amir Ali Bagherzadeh, Chuan Li, Dorien Herremans, Soujanya Poria

cs.AI

papers.abstract

Les modèles de diffusion et de correspondance de flux ont révolutionné la génération automatique de texte-à-audio ces dernières années. Ces modèles sont de plus en plus capables de produire des sorties audio de haute qualité et fidèles, capturant à la fois la parole et les événements acoustiques. Cependant, il reste encore beaucoup de place pour l'amélioration dans la génération créative d'audio, qui implique principalement la musique et les chansons. Les récents modèles ouverts de paroles-à-chanson, tels que DiffRhythm, ACE-Step et LeVo, ont établi un standard acceptable dans la génération automatique de chansons pour un usage récréatif. Cependant, ces modèles manquent de contrôlabilité fine au niveau des mots, souvent souhaitée par les musiciens dans leurs workflows. À notre connaissance, notre modèle JAM basé sur la correspondance de flux est la première tentative visant à doter la génération de chansons d'un contrôle temporel et de durée au niveau des mots, permettant un contrôle vocal fin. Pour améliorer la qualité des chansons générées afin de mieux les aligner avec les préférences humaines, nous mettons en œuvre un alignement esthétique via l'Optimisation Directe des Préférences, qui affine itérativement le modèle en utilisant un ensemble de données synthétiques, éliminant ainsi le besoin d'annotations manuelles. De plus, nous visons à standardiser l'évaluation de tels modèles de paroles-à-chanson grâce à notre ensemble de données d'évaluation publique JAME. Nous montrons que JAM surpasse les modèles existants en termes d'attributs spécifiques à la musique.

English

Diffusion and flow-matching models have revolutionized automatic text-to-audio generation in recent times. These models are increasingly capable of generating high quality and faithful audio outputs capturing to speech and acoustic events. However, there is still much room for improvement in creative audio generation that primarily involves music and songs. Recent open lyrics-to-song models, such as, DiffRhythm, ACE-Step, and LeVo, have set an acceptable standard in automatic song generation for recreational use. However, these models lack fine-grained word-level controllability often desired by musicians in their workflows. To the best of our knowledge, our flow-matching-based JAM is the first effort toward endowing word-level timing and duration control in song generation, allowing fine-grained vocal control. To enhance the quality of generated songs to better align with human preferences, we implement aesthetic alignment through Direct Preference Optimization, which iteratively refines the model using a synthetic dataset, eliminating the need or manual data annotations. Furthermore, we aim to standardize the evaluation of such lyrics-to-song models through our public evaluation dataset JAME. We show that JAM outperforms the existing models in terms of the music-specific attributes.