EDMSound: Modelli di Diffusione Basati su Spettrogrammi per la Sintesi Audio Efficiente e di Alta Qualità
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
November 15, 2023
Autori: Ge Zhu, Yutong Wen, Marc-André Carbonneau, Zhiyao Duan
cs.AI
Abstract
I modelli di diffusione audio possono sintetizzare un'ampia varietà di suoni. I modelli esistenti spesso operano nel dominio latente con moduli di recupero della fase in cascata per ricostruire la forma d'onda. Ciò pone delle sfide quando si genera audio ad alta fedeltà. In questo articolo, proponiamo EDMSound, un modello generativo basato sulla diffusione nel dominio dello spettrogramma all'interno del framework dei modelli di diffusione chiarificati (EDM). Combinando un campionatore deterministico efficiente, abbiamo ottenuto un punteggio Fréchet Audio Distance (FAD) simile a quello dei migliori modelli di riferimento con soli 10 passi e abbiamo raggiunto prestazioni all'avanguardia con 50 passi nel benchmark di generazione di suoni foley DCASE2023. Abbiamo anche evidenziato una potenziale preoccupazione riguardo ai modelli di generazione audio basati sulla diffusione, ovvero che tendono a generare campioni con un'elevata somiglianza percettiva ai dati di addestramento. Pagina del progetto: https://agentcooper2002.github.io/EDMSound/
English
Audio diffusion models can synthesize a wide variety of sounds. Existing
models often operate on the latent domain with cascaded phase recovery modules
to reconstruct waveform. This poses challenges when generating high-fidelity
audio. In this paper, we propose EDMSound, a diffusion-based generative model
in spectrogram domain under the framework of elucidated diffusion models (EDM).
Combining with efficient deterministic sampler, we achieved similar Fr\'echet
audio distance (FAD) score as top-ranked baseline with only 10 steps and
reached state-of-the-art performance with 50 steps on the DCASE2023 foley sound
generation benchmark. We also revealed a potential concern regarding diffusion
based audio generation models that they tend to generate samples with high
perceptual similarity to the data from training data. Project page:
https://agentcooper2002.github.io/EDMSound/