Modelos de Consistencia Musical

Music Consistency Models

April 20, 2024

Autores: Zhengcong Fei, Mingyuan Fan, Junshi Huang

cs.AI

Resumen

Los modelos de consistencia han demostrado capacidades notables para facilitar la generación eficiente de imágenes/videos, permitiendo la síntesis con un número mínimo de pasos de muestreo. Han resultado ventajosos para mitigar las cargas computacionales asociadas con los modelos de difusión. Sin embargo, la aplicación de los modelos de consistencia en la generación de música sigue siendo en gran medida inexplorada. Para abordar este vacío, presentamos Music Consistency Models (MusicCM), que aprovecha el concepto de modelos de consistencia para sintetizar de manera eficiente mel-espectrogramas de clips musicales, manteniendo una alta calidad mientras minimiza el número de pasos de muestreo. Basándose en modelos de difusión de texto a música existentes, el modelo MusicCM incorpora destilación de consistencia y entrenamiento de discriminadores adversarios. Además, encontramos beneficioso generar música coherente y extendida mediante la incorporación de múltiples procesos de difusión con restricciones compartidas. Los resultados experimentales revelan la efectividad de nuestro modelo en términos de eficiencia computacional, fidelidad y naturalidad. Notablemente, MusicCM logra una síntesis de música fluida con apenas cuatro pasos de muestreo, por ejemplo, solo un segundo por minuto del clip musical, mostrando el potencial para aplicaciones en tiempo real.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.