Modelli di Consistenza Musicale

Abstract

I modelli di consistenza hanno dimostrato capacità notevoli nel facilitare la generazione efficiente di immagini/video, permettendo la sintesi con un numero minimo di passaggi di campionamento. Si sono rivelati vantaggiosi nel mitigare i carichi computazionali associati ai modelli di diffusione. Tuttavia, l'applicazione dei modelli di consistenza nella generazione musicale rimane ampiamente inesplorata. Per colmare questa lacuna, presentiamo i Music Consistency Models (MusicCM), che sfruttano il concetto di modelli di consistenza per sintetizzare in modo efficiente mel-spettrogrammi per clip musicali, mantenendo un'elevata qualità riducendo al minimo il numero di passaggi di campionamento. Basandosi su modelli di diffusione esistenti per la generazione di musica da testo, il modello MusicCM incorpora la distillazione di consistenza e l'addestramento di un discriminatore avversario. Inoltre, riteniamo utile generare musica estesa e coerente incorporando processi di diffusione multipli con vincoli condivisi. I risultati sperimentali rivelano l'efficacia del nostro modello in termini di efficienza computazionale, fedeltà e naturalezza. In particolare, MusicCM raggiunge una sintesi musicale senza interruzioni con soli quattro passaggi di campionamento, ad esempio, solo un secondo per minuto di clip musicale, dimostrando il potenziale per applicazioni in tempo reale.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.