Muziek Consistentiemodellen

Samenvatting

Consistentiemodellen hebben opmerkelijke capaciteiten getoond bij het faciliteren van efficiënte beeld-/videogeneratie, waardoor synthese met minimale samplingstappen mogelijk wordt gemaakt. Het is bewezen voordelig te zijn bij het verminderen van de computationele lasten die gepaard gaan met diffusiemodellen. Desalniettemin blijft de toepassing van consistentiemodellen in muziekgeneratie grotendeels onontgonnen. Om deze leemte aan te pakken, presenteren wij Music Consistency Models (MusicCM), dat het concept van consistentiemodellen benut om op efficiënte wijze mel-spectrogrammen voor muziekfragmenten te synthetiseren, waarbij hoge kwaliteit wordt behouden en het aantal samplingstappen wordt geminimaliseerd. Voortbouwend op bestaande tekst-naar-muziek diffusiemodellen, integreert het MusicCM-model consistentiedistillatie en adversariële discriminator training. Bovendien vinden we het nuttig om uitgebreide coherente muziek te genereren door meerdere diffusieprocessen met gedeelde beperkingen te incorporeren. Experimentele resultaten tonen de effectiviteit van ons model aan op het gebied van computationele efficiëntie, geloofwaardigheid en natuurlijkheid. Opmerkelijk is dat MusicCM naadloze muzieksynthese bereikt met slechts vier samplingstappen, bijvoorbeeld slechts één seconde per minuut van het muziekfragment, wat het potentieel voor real-time toepassingen aantoont.

English

Consistency models have exhibited remarkable capabilities in facilitating efficient image/video generation, enabling synthesis with minimal sampling steps. It has proven to be advantageous in mitigating the computational burdens associated with diffusion models. Nevertheless, the application of consistency models in music generation remains largely unexplored. To address this gap, we present Music Consistency Models (MusicCM), which leverages the concept of consistency models to efficiently synthesize mel-spectrogram for music clips, maintaining high quality while minimizing the number of sampling steps. Building upon existing text-to-music diffusion models, the MusicCM model incorporates consistency distillation and adversarial discriminator training. Moreover, we find it beneficial to generate extended coherent music by incorporating multiple diffusion processes with shared constraints. Experimental results reveal the effectiveness of our model in terms of computational efficiency, fidelity, and naturalness. Notable, MusicCM achieves seamless music synthesis with a mere four sampling steps, e.g., only one second per minute of the music clip, showcasing the potential for real-time application.