Модели Согласованности Музыки

Music Consistency Models

April 20, 2024

Авторы: Zhengcong Fei, Mingyuan Fan, Junshi Huang

cs.AI

Аннотация

Модели согласованности проявили выдающиеся возможности в облегчении эффективной генерации изображений/видео, обеспечивая синтез с минимальным количеством этапов выборки. Они доказали свою выгодность в смягчении вычислительных нагрузок, связанных с моделями диффузии. Тем не менее, применение моделей согласованности в области генерации музыки остается в значительной степени неисследованным. Для заполнения этого пробела мы представляем Модели Согласованности Музыки (MusicCM), которые используют концепцию моделей согласованности для эффективного синтеза мел-спектрограмм для музыкальных отрывков, сохраняя высокое качество при минимизации количества этапов выборки. Развивая существующие модели диффузии текста в музыку, модель MusicCM включает в себя дистилляцию согласованности и обучение дискриминатора методом адверсариального обучения. Более того, мы обнаружили, что полезно генерировать продолжительную согласованную музыку, включая несколько процессов диффузии с общими ограничениями. Экспериментальные результаты показывают эффективность нашей модели с точки зрения вычислительной эффективности, достоверности и естественности. Заметно, что MusicCM достигает плавного синтеза музыки всего за четыре этапа выборки, например, всего одну секунду в минуту музыкального отрывка, демонстрируя потенциал для применения в реальном времени.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.