Musik-Konsistenzmodelle

Music Consistency Models

April 20, 2024

Autoren: Zhengcong Fei, Mingyuan Fan, Junshi Huang

cs.AI

Zusammenfassung

Konsistenzmodelle haben bemerkenswerte Fähigkeiten bei der effizienten Generierung von Bildern/Videos gezeigt, indem sie die Synthese mit minimalen Abtastschritten ermöglichen. Es hat sich als vorteilhaft erwiesen, die Rechenlasten, die mit Diffusionsmodellen verbunden sind, zu mildern. Dennoch bleibt die Anwendung von Konsistenzmodellen bei der Musikgenerierung weitgehend unerforscht. Um diese Lücke zu schließen, präsentieren wir Musik-Konsistenzmodelle (MusicCM), die das Konzept der Konsistenzmodelle nutzen, um effizient Mel-Spektrogramme für Musikstücke zu synthetisieren, wobei die Qualität hoch gehalten wird und die Anzahl der Abtastschritte minimiert wird. Aufbauend auf bestehenden Text-zu-Musik-Diffusionsmodellen integriert das MusicCM-Modell Konsistenzdestillation und das Training eines adversen Diskriminators. Darüber hinaus erweist es sich als vorteilhaft, zusammenhängende Musik zu generieren, indem mehrere Diffusionsprozesse mit gemeinsamen Einschränkungen eingebunden werden. Experimentelle Ergebnisse zeigen die Effektivität unseres Modells in Bezug auf Recheneffizienz, Treue und Natürlichkeit. Bemerkenswert ist, dass MusicCM eine nahtlose Musiksynthese mit lediglich vier Abtastschritten erreicht, z. B. nur eine Sekunde pro Minute des Musikstücks, was das Potenzial für Echtzeitanwendungen zeigt.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.