Ускорение генерации волн высокой точности с помощью оптимизации сопоставления потоков адверсариальных моделей.

Accelerating High-Fidelity Waveform Generation via Adversarial Flow Matching Optimization

August 15, 2024

Авторы: Sang-Hoon Lee, Ha-Yeong Choi, Seong-Whan Lee

cs.AI

Аннотация

Этот документ представляет PeriodWave-Turbo, модель генерации волн высокой достоверности и высокой эффективности с помощью оптимизации сопоставления потоков враждебства. Недавно условные генеративные модели сопоставления потоков (CFM) успешно применялись для задач генерации волн, используя единственную цель оценки поля векторов для обучения. Хотя эти модели могут создавать сигналы волн высокой достоверности, они требуют значительно большего количества шагов ОДУ по сравнению с моделями на основе GAN, которые требуют только одного шага генерации. Кроме того, созданные образцы часто лишены информации высокой частоты из-за шумной оценки поля векторов, что не гарантирует воспроизведение высоких частот. Для преодоления этого ограничения мы улучшаем предварительно обученные генеративные модели CFM путем внедрения модификации генератора с фиксированным шагом. Мы использовали потери реконструкции и враждебную обратную связь для ускорения генерации волн высокой достоверности. Через оптимизацию сопоставления потоков враждебства для достижения передовой производительности по различным объективным метрикам требуется всего 1 000 шагов тонкой настройки. Более того, мы значительно ускоряем скорость вывода с 16 шагов до 2 или 4 шагов. Кроме того, увеличивая основу PeriodWave с 29M до 70M параметров для улучшенной обобщенности, PeriodWave-Turbo достигает беспрецедентной производительности с оценкой качества речи (PESQ) 4,454 на наборе данных LibriTTS. Образцы аудио, исходный код и контрольные точки будут доступны на https://github.com/sh-lee-prml/PeriodWave.

English

This paper introduces PeriodWave-Turbo, a high-fidelity and high-efficient waveform generation model via adversarial flow matching optimization. Recently, conditional flow matching (CFM) generative models have been successfully adopted for waveform generation tasks, leveraging a single vector field estimation objective for training. Although these models can generate high-fidelity waveform signals, they require significantly more ODE steps compared to GAN-based models, which only need a single generation step. Additionally, the generated samples often lack high-frequency information due to noisy vector field estimation, which fails to ensure high-frequency reproduction. To address this limitation, we enhance pre-trained CFM-based generative models by incorporating a fixed-step generator modification. We utilized reconstruction losses and adversarial feedback to accelerate high-fidelity waveform generation. Through adversarial flow matching optimization, it only requires 1,000 steps of fine-tuning to achieve state-of-the-art performance across various objective metrics. Moreover, we significantly reduce inference speed from 16 steps to 2 or 4 steps. Additionally, by scaling up the backbone of PeriodWave from 29M to 70M parameters for improved generalization, PeriodWave-Turbo achieves unprecedented performance, with a perceptual evaluation of speech quality (PESQ) score of 4.454 on the LibriTTS dataset. Audio samples, source code and checkpoints will be available at https://github.com/sh-lee-prml/PeriodWave.