FreGrad: Легковесный и быстрый частотно-ориентированный диффузионный вокодер
FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder
January 18, 2024
Авторы: Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung
cs.AI
Аннотация
Цель данной работы — создание реалистичного аудио с использованием легковесного и быстрого диффузионного вокодера под названием FreGrad. Наша структура включает следующие три ключевых компонента: (1) Мы применяем дискретное вейвлет-преобразование, которое разлагает сложный сигнал на поддиапазонные вейвлеты, что позволяет FreGrad работать с простым и компактным пространством признаков; (2) Мы разрабатываем частотно-ориентированную расширенную свертку, которая повышает осведомленность о частотах, что приводит к генерации речи с точной частотной информацией; и (3) Мы внедряем набор приемов, которые улучшают качество генерации предложенной модели. В наших экспериментах FreGrad демонстрирует ускорение обучения в 3.7 раза и ускорение вывода в 2.2 раза по сравнению с базовой моделью, одновременно уменьшая размер модели в 0.6 раза (всего 1.78 млн параметров) без ущерба для качества выходного сигнала. Аудиообразцы доступны по ссылке: https://mm.kaist.ac.kr/projects/FreGrad.
English
The goal of this paper is to generate realistic audio with a lightweight and
fast diffusion-based vocoder, named FreGrad. Our framework consists of the
following three key components: (1) We employ discrete wavelet transform that
decomposes a complicated waveform into sub-band wavelets, which helps FreGrad
to operate on a simple and concise feature space, (2) We design a
frequency-aware dilated convolution that elevates frequency awareness,
resulting in generating speech with accurate frequency information, and (3) We
introduce a bag of tricks that boosts the generation quality of the proposed
model. In our experiments, FreGrad achieves 3.7 times faster training time and
2.2 times faster inference speed compared to our baseline while reducing the
model size by 0.6 times (only 1.78M parameters) without sacrificing the output
quality. Audio samples are available at:
https://mm.kaist.ac.kr/projects/FreGrad.