EDMSound: Modelos de Difusión Basados en Espectrogramas para Síntesis de Audio Eficiente y de Alta Calidad
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
November 15, 2023
Autores: Ge Zhu, Yutong Wen, Marc-André Carbonneau, Zhiyao Duan
cs.AI
Resumen
Los modelos de difusión de audio pueden sintetizar una amplia variedad de sonidos. Los modelos existentes suelen operar en el dominio latente con módulos en cascada para la recuperación de fase, con el fin de reconstruir la forma de onda. Esto plantea desafíos al generar audio de alta fidelidad. En este artículo, proponemos EDMSound, un modelo generativo basado en difusión en el dominio del espectrograma bajo el marco de los modelos de difusión elucidados (EDM, por sus siglas en inglés). Combinado con un muestreador determinista eficiente, logramos un puntaje similar en la distancia de audio de Fréchet (FAD) al de los mejores modelos de referencia con solo 10 pasos, y alcanzamos un rendimiento de vanguardia con 50 pasos en el benchmark de generación de sonido foley de DCASE2023. También revelamos una preocupación potencial respecto a los modelos de generación de audio basados en difusión: tienden a generar muestras con una alta similitud perceptual con los datos de entrenamiento. Página del proyecto: https://agentcooper2002.github.io/EDMSound/
English
Audio diffusion models can synthesize a wide variety of sounds. Existing
models often operate on the latent domain with cascaded phase recovery modules
to reconstruct waveform. This poses challenges when generating high-fidelity
audio. In this paper, we propose EDMSound, a diffusion-based generative model
in spectrogram domain under the framework of elucidated diffusion models (EDM).
Combining with efficient deterministic sampler, we achieved similar Fr\'echet
audio distance (FAD) score as top-ranked baseline with only 10 steps and
reached state-of-the-art performance with 50 steps on the DCASE2023 foley sound
generation benchmark. We also revealed a potential concern regarding diffusion
based audio generation models that they tend to generate samples with high
perceptual similarity to the data from training data. Project page:
https://agentcooper2002.github.io/EDMSound/