FreGrad : Vocodeur à diffusion rapide et léger basé sur les fréquences
FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder
January 18, 2024
papers.authors: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung
cs.AI
papers.abstract
L'objectif de cet article est de générer un audio réaliste à l'aide d'un vocodeur léger et rapide basé sur la diffusion, nommé FreGrad. Notre framework se compose des trois éléments clés suivants : (1) Nous utilisons une transformée en ondelettes discrète qui décompose une forme d'onde complexe en sous-bandes d'ondelettes, ce qui permet à FreGrad d'opérer dans un espace de caractéristiques simple et concis, (2) Nous concevons une convolution dilatée sensible aux fréquences qui améliore la perception des fréquences, permettant ainsi de générer une parole avec des informations fréquentielles précises, et (3) Nous introduisons un ensemble d'astuces qui améliorent la qualité de génération du modèle proposé. Dans nos expériences, FreGrad atteint un temps d'entraînement 3,7 fois plus rapide et une vitesse d'inférence 2,2 fois plus rapide par rapport à notre référence, tout en réduisant la taille du modèle de 0,6 fois (seulement 1,78 million de paramètres) sans sacrifier la qualité de sortie. Des échantillons audio sont disponibles à l'adresse suivante : https://mm.kaist.ac.kr/projects/FreGrad.
English
The goal of this paper is to generate realistic audio with a lightweight and
fast diffusion-based vocoder, named FreGrad. Our framework consists of the
following three key components: (1) We employ discrete wavelet transform that
decomposes a complicated waveform into sub-band wavelets, which helps FreGrad
to operate on a simple and concise feature space, (2) We design a
frequency-aware dilated convolution that elevates frequency awareness,
resulting in generating speech with accurate frequency information, and (3) We
introduce a bag of tricks that boosts the generation quality of the proposed
model. In our experiments, FreGrad achieves 3.7 times faster training time and
2.2 times faster inference speed compared to our baseline while reducing the
model size by 0.6 times (only 1.78M parameters) without sacrificing the output
quality. Audio samples are available at:
https://mm.kaist.ac.kr/projects/FreGrad.