JAM: Un Generatore di Canzoni Basato su Flusso di Dimensioni Ridotte con Controllabilità Fine e Allineamento Estetico

JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment

July 28, 2025

Autori: Renhang Liu, Chia-Yu Hung, Navonil Majumder, Taylor Gautreaux, Amir Ali Bagherzadeh, Chuan Li, Dorien Herremans, Soujanya Poria

cs.AI

Abstract

I modelli di diffusione e di flow-matching hanno rivoluzionato la generazione automatica di audio da testo negli ultimi tempi. Questi modelli sono sempre più capaci di produrre output audio di alta qualità e fedeli, catturando sia il parlato che gli eventi acustici. Tuttavia, c'è ancora molto spazio per miglioramenti nella generazione creativa di audio che coinvolge principalmente musica e canzoni. Recenti modelli open per la generazione di canzoni da testo, come DiffRhythm, ACE-Step e LeVo, hanno stabilito uno standard accettabile nella generazione automatica di canzoni per uso ricreativo. Tuttavia, questi modelli mancano di una controllabilità fine a livello di parola, spesso desiderata dai musicisti nei loro flussi di lavoro. Per quanto ne sappiamo, il nostro modello JAM basato su flow-matching rappresenta il primo tentativo di dotare la generazione di canzoni di un controllo temporale e di durata a livello di parola, consentendo un controllo vocale fine. Per migliorare la qualità delle canzoni generate in modo che siano più allineate con le preferenze umane, implementiamo l'allineamento estetico attraverso l'ottimizzazione diretta delle preferenze, che affina iterativamente il modello utilizzando un dataset sintetico, eliminando la necessità di annotazioni manuali dei dati. Inoltre, miriamo a standardizzare la valutazione di tali modelli di generazione di canzoni da testo attraverso il nostro dataset di valutazione pubblico JAME. Dimostriamo che JAM supera i modelli esistenti in termini di attributi specifici della musica.

English

Diffusion and flow-matching models have revolutionized automatic text-to-audio generation in recent times. These models are increasingly capable of generating high quality and faithful audio outputs capturing to speech and acoustic events. However, there is still much room for improvement in creative audio generation that primarily involves music and songs. Recent open lyrics-to-song models, such as, DiffRhythm, ACE-Step, and LeVo, have set an acceptable standard in automatic song generation for recreational use. However, these models lack fine-grained word-level controllability often desired by musicians in their workflows. To the best of our knowledge, our flow-matching-based JAM is the first effort toward endowing word-level timing and duration control in song generation, allowing fine-grained vocal control. To enhance the quality of generated songs to better align with human preferences, we implement aesthetic alignment through Direct Preference Optimization, which iteratively refines the model using a synthetic dataset, eliminating the need or manual data annotations. Furthermore, we aim to standardize the evaluation of such lyrics-to-song models through our public evaluation dataset JAME. We show that JAM outperforms the existing models in terms of the music-specific attributes.