음악 일관성 모델

초록

일관성 모델(Consistency Models)은 효율적인 이미지/비디오 생성을 촉진하고 최소한의 샘플링 단계로 합성을 가능하게 하는 놀라운 능력을 보여주었습니다. 이는 확산 모델(Diffusion Models)과 관련된 계산 부담을 완화하는 데 유리한 것으로 입증되었습니다. 그러나 음악 생성 분야에서 일관성 모델의 적용은 아직 크게 탐구되지 않았습니다. 이러한 격차를 해결하기 위해, 우리는 멜-스펙트로그램(mel-spectrogram)을 효율적으로 합성하면서도 높은 품질을 유지하고 샘플링 단계 수를 최소화하는 일관성 모델 개념을 활용한 Music Consistency Models (MusicCM)을 제안합니다. 기존의 텍스트-투-뮤직(Text-to-Music) 확산 모델을 기반으로, MusicCM 모델은 일관성 증류(Consistency Distillation)와 적대적 판별기(Adversarial Discriminator) 훈련을 통합합니다. 또한, 공유된 제약 조건을 가진 다중 확산 프로세스를 통합하여 확장된 일관성 있는 음악을 생성하는 것이 유리함을 발견했습니다. 실험 결과는 우리 모델의 계산 효율성, 충실도(Fidelity), 그리고 자연스러움(Naturalness) 측면에서의 효과를 보여줍니다. 특히, MusicCM은 단 4개의 샘플링 단계로 원활한 음악 합성을 달성하며, 예를 들어 음악 클립 1분당 단 1초만 소요되어 실시간 응용 가능성을 입증했습니다.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.

음악 일관성 모델

Music Consistency Models

초록

Summary

Support

Support