FreGrad: Vocoder a diffusione leggero e veloce con consapevolezza della frequenza
FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder
January 18, 2024
Autori: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung
cs.AI
Abstract
L'obiettivo di questo articolo è generare audio realistico con un vocoder basato su diffusione, leggero e veloce, denominato FreGrad. Il nostro framework è composto dai seguenti tre componenti chiave: (1) Utilizziamo la trasformata wavelet discreta che scompone una forma d'onda complessa in wavelet sub-band, aiutando FreGrad a operare su uno spazio di caratteristiche semplice e conciso, (2) Progettiamo una convoluzione dilatata consapevole della frequenza che migliora la consapevolezza delle frequenze, portando alla generazione di un parlato con informazioni di frequenza accurate, e (3) Introduciamo una serie di accorgimenti che migliorano la qualità di generazione del modello proposto. Nei nostri esperimenti, FreGrad raggiunge un tempo di addestramento 3,7 volte più veloce e una velocità di inferenza 2,2 volte più rapida rispetto alla nostra baseline, riducendo contemporaneamente le dimensioni del modello di 0,6 volte (solo 1,78M parametri) senza compromettere la qualità dell'output. Campioni audio sono disponibili al seguente link: https://mm.kaist.ac.kr/projects/FreGrad.
English
The goal of this paper is to generate realistic audio with a lightweight and
fast diffusion-based vocoder, named FreGrad. Our framework consists of the
following three key components: (1) We employ discrete wavelet transform that
decomposes a complicated waveform into sub-band wavelets, which helps FreGrad
to operate on a simple and concise feature space, (2) We design a
frequency-aware dilated convolution that elevates frequency awareness,
resulting in generating speech with accurate frequency information, and (3) We
introduce a bag of tricks that boosts the generation quality of the proposed
model. In our experiments, FreGrad achieves 3.7 times faster training time and
2.2 times faster inference speed compared to our baseline while reducing the
model size by 0.6 times (only 1.78M parameters) without sacrificing the output
quality. Audio samples are available at:
https://mm.kaist.ac.kr/projects/FreGrad.