FreGrad: Vocoder de difusión ligero y rápido con conciencia de frecuencia
FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder
January 18, 2024
Autores: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung
cs.AI
Resumen
El objetivo de este artículo es generar audio realista con un vocoder ligero y rápido basado en difusión, denominado FreGrad. Nuestro marco de trabajo consta de los siguientes tres componentes clave: (1) Empleamos la transformada discreta de wavelet, que descompone una forma de onda compleja en sub-bandas de wavelets, lo que permite a FreGrad operar en un espacio de características simple y conciso, (2) Diseñamos una convolución dilatada consciente de la frecuencia que mejora la percepción de frecuencias, lo que resulta en la generación de habla con información de frecuencia precisa, y (3) Introducimos un conjunto de técnicas que mejoran la calidad de generación del modelo propuesto. En nuestros experimentos, FreGrad logra un tiempo de entrenamiento 3.7 veces más rápido y una velocidad de inferencia 2.2 veces mayor en comparación con nuestra línea base, mientras reduce el tamaño del modelo en 0.6 veces (solo 1.78M parámetros) sin sacrificar la calidad de la salida. Las muestras de audio están disponibles en: https://mm.kaist.ac.kr/projects/FreGrad.
English
The goal of this paper is to generate realistic audio with a lightweight and
fast diffusion-based vocoder, named FreGrad. Our framework consists of the
following three key components: (1) We employ discrete wavelet transform that
decomposes a complicated waveform into sub-band wavelets, which helps FreGrad
to operate on a simple and concise feature space, (2) We design a
frequency-aware dilated convolution that elevates frequency awareness,
resulting in generating speech with accurate frequency information, and (3) We
introduce a bag of tricks that boosts the generation quality of the proposed
model. In our experiments, FreGrad achieves 3.7 times faster training time and
2.2 times faster inference speed compared to our baseline while reducing the
model size by 0.6 times (only 1.78M parameters) without sacrificing the output
quality. Audio samples are available at:
https://mm.kaist.ac.kr/projects/FreGrad.