EDMSound : Modèles de diffusion basés sur des spectrogrammes pour une synthèse audio efficace et de haute qualité
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
November 15, 2023
Auteurs: Ge Zhu, Yutong Wen, Marc-André Carbonneau, Zhiyao Duan
cs.AI
Résumé
Les modèles de diffusion audio peuvent synthétiser une grande variété de sons. Les modèles existants opèrent souvent dans le domaine latent avec des modules de récupération de phase en cascade pour reconstruire la forme d'onde. Cela pose des défis lors de la génération d'audio haute fidélité. Dans cet article, nous proposons EDMSound, un modèle génératif basé sur la diffusion dans le domaine des spectrogrammes, sous le cadre des modèles de diffusion éclaircis (EDM). En combinant avec un échantillonneur déterministe efficace, nous avons obtenu un score de distance audio de Fréchet (FAD) similaire à celui des meilleures méthodes de référence avec seulement 10 étapes, et atteint des performances de pointe avec 50 étapes sur le benchmark de génération de sons foley DCASE2023. Nous avons également mis en lumière une préoccupation potentielle concernant les modèles de génération audio basés sur la diffusion : ils ont tendance à générer des échantillons présentant une similarité perceptuelle élevée avec les données d'entraînement. Page du projet : https://agentcooper2002.github.io/EDMSound/
English
Audio diffusion models can synthesize a wide variety of sounds. Existing
models often operate on the latent domain with cascaded phase recovery modules
to reconstruct waveform. This poses challenges when generating high-fidelity
audio. In this paper, we propose EDMSound, a diffusion-based generative model
in spectrogram domain under the framework of elucidated diffusion models (EDM).
Combining with efficient deterministic sampler, we achieved similar Fr\'echet
audio distance (FAD) score as top-ranked baseline with only 10 steps and
reached state-of-the-art performance with 50 steps on the DCASE2023 foley sound
generation benchmark. We also revealed a potential concern regarding diffusion
based audio generation models that they tend to generate samples with high
perceptual similarity to the data from training data. Project page:
https://agentcooper2002.github.io/EDMSound/