Modelos de Consistência Musical

Resumo

Os modelos de consistência têm demonstrado capacidades notáveis em facilitar a geração eficiente de imagens/vídeos, permitindo a síntese com um número mínimo de etapas de amostragem. Eles se mostraram vantajosos na mitigação das cargas computacionais associadas aos modelos de difusão. No entanto, a aplicação de modelos de consistência na geração de música permanece amplamente inexplorada. Para abordar essa lacuna, apresentamos os Modelos de Consistência Musical (MusicCM), que aproveitam o conceito de modelos de consistência para sintetizar eficientemente mel-espectrogramas para clipes de música, mantendo alta qualidade enquanto minimizam o número de etapas de amostragem. Baseando-se em modelos de difusão de texto para música existentes, o modelo MusicCM incorpora destilação de consistência e treinamento discriminador adversário. Além disso, consideramos benéfico gerar música coesa e estendida ao incorporar múltiplos processos de difusão com restrições compartilhadas. Os resultados experimentais revelam a eficácia do nosso modelo em termos de eficiência computacional, fidelidade e naturalidade. Notavelmente, o MusicCM alcança síntese musical contínua com apenas quatro etapas de amostragem, por exemplo, apenas um segundo por minuto do clipe musical, demonstrando o potencial para aplicação em tempo real.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.