FreGrad: Leichter und schneller frequenzbewusster Diffusions-Vocoder

FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder

January 18, 2024

Autoren: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung

cs.AI

Zusammenfassung

Das Ziel dieser Arbeit ist es, realistisches Audio mit einem leichten und schnellen, auf Diffusion basierenden Vocoder namens FreGrad zu erzeugen. Unser Framework besteht aus den folgenden drei Schlüsselkomponenten: (1) Wir verwenden die diskrete Wavelet-Transformation, die eine komplexe Wellenform in Subband-Wavelets zerlegt, wodurch FreGrad in einem einfachen und prägnanten Merkmalsraum operieren kann, (2) Wir entwerfen eine frequenzbewusste dilatierte Faltung, die das Frequenzbewusstsein erhöht und dadurch Sprache mit präzisen Frequenzinformationen erzeugt, und (3) Wir führen eine Reihe von Tricks ein, die die Generierungsqualität des vorgeschlagenen Modells verbessern. In unseren Experimenten erreicht FreGrad eine 3,7-mal schnellere Trainingszeit und eine 2,2-mal schnellere Inferenzgeschwindigkeit im Vergleich zu unserer Baseline, während die Modellgröße um das 0,6-fache reduziert wird (nur 1,78 Mio. Parameter), ohne die Ausgabequalität zu beeinträchtigen. Audio-Beispiele sind verfügbar unter: https://mm.kaist.ac.kr/projects/FreGrad.

English

The goal of this paper is to generate realistic audio with a lightweight and fast diffusion-based vocoder, named FreGrad. Our framework consists of the following three key components: (1) We employ discrete wavelet transform that decomposes a complicated waveform into sub-band wavelets, which helps FreGrad to operate on a simple and concise feature space, (2) We design a frequency-aware dilated convolution that elevates frequency awareness, resulting in generating speech with accurate frequency information, and (3) We introduce a bag of tricks that boosts the generation quality of the proposed model. In our experiments, FreGrad achieves 3.7 times faster training time and 2.2 times faster inference speed compared to our baseline while reducing the model size by 0.6 times (only 1.78M parameters) without sacrificing the output quality. Audio samples are available at: https://mm.kaist.ac.kr/projects/FreGrad.