FreGrad: Lichtgewicht en snelle frequentiebewuste diffusie-vocoder

FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder

January 18, 2024

Auteurs: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung

cs.AI

Samenvatting

Het doel van dit artikel is om realistische audio te genereren met een lichtgewicht en snelle, op diffusie gebaseerde vocoder genaamd FreGrad. Ons framework bestaat uit de volgende drie belangrijke componenten: (1) We gebruiken een discrete wavelet-transformatie die een complex golfvorm ontleedt in sub-band wavelets, wat FreGrad helpt om te werken in een eenvoudige en beknopte kenmerkruimte, (2) We ontwerpen een frequentiebewuste dilated convolutie die het frequentiebewustzijn verhoogt, wat resulteert in het genereren van spraak met nauwkeurige frequentie-informatie, en (3) We introduceren een reeks technieken die de generatiekwaliteit van het voorgestelde model verbeteren. In onze experimenten behaalt FreGrad een 3,7 keer snellere trainingstijd en een 2,2 keer snellere inferentiesnelheid in vergelijking met onze baseline, terwijl het modelformaat met 0,6 keer wordt verkleind (slechts 1,78M parameters) zonder in te leveren op de uitvoerkwaliteit. Audiovoorbeelden zijn beschikbaar op: https://mm.kaist.ac.kr/projects/FreGrad.

English

The goal of this paper is to generate realistic audio with a lightweight and fast diffusion-based vocoder, named FreGrad. Our framework consists of the following three key components: (1) We employ discrete wavelet transform that decomposes a complicated waveform into sub-band wavelets, which helps FreGrad to operate on a simple and concise feature space, (2) We design a frequency-aware dilated convolution that elevates frequency awareness, resulting in generating speech with accurate frequency information, and (3) We introduce a bag of tricks that boosts the generation quality of the proposed model. In our experiments, FreGrad achieves 3.7 times faster training time and 2.2 times faster inference speed compared to our baseline while reducing the model size by 0.6 times (only 1.78M parameters) without sacrificing the output quality. Audio samples are available at: https://mm.kaist.ac.kr/projects/FreGrad.