Beschleunigung der hochwertigen Wellenformgenerierung durch adversiale Flussanpassungsoptimierung

Accelerating High-Fidelity Waveform Generation via Adversarial Flow Matching Optimization

August 15, 2024

Autoren: Sang-Hoon Lee, Ha-Yeong Choi, Seong-Whan Lee

cs.AI

Zusammenfassung

Dieses Paper stellt PeriodWave-Turbo vor, ein hochpräzises und hoch effizientes Wellenformgenerierungsmodell mittels adversarischer Flussanpassungsoptimierung. In letzter Zeit wurden bedingte Flussanpassungs-Generativmodelle erfolgreich für Wellenformgenerierungsaufgaben eingesetzt, die ein einziges Vektorfeldschätzungsziel für das Training nutzen. Obwohl diese Modelle hochpräzise Wellenformsignale erzeugen können, erfordern sie im Vergleich zu GAN-basierten Modellen, die nur einen Generierungsschritt benötigen, signifikant mehr ODE-Schritte. Darüber hinaus fehlt den erzeugten Proben oft hochfrequente Informationen aufgrund von rauschhafter Vektorfeldschätzung, was keine hochfrequente Reproduktion gewährleistet. Um diese Einschränkung zu beheben, verbessern wir vortrainierte CFM-basierte Generativmodelle, indem wir eine Generatormodifikation mit festem Schritt integrieren. Wir nutzen Rekonstruktionsverluste und adversielles Feedback, um die hochpräzise Wellenformgenerierung zu beschleunigen. Durch adversarische Flussanpassungsoptimierung sind nur 1.000 Feinabstimmungsschritte erforderlich, um Spitzenleistungen bei verschiedenen Zielmetriken zu erzielen. Darüber hinaus reduzieren wir die Inferenzgeschwindigkeit signifikant von 16 Schritten auf 2 oder 4 Schritte. Zusätzlich erreicht PeriodWave-Turbo durch Skalierung des Backbones von 29M auf 70M Parameter zur Verbesserung der Verallgemeinerung eine beispiellose Leistung, mit einem Perzeptuellen Evaluations-Sprachqualitäts (PESQ)-Score von 4.454 auf dem LibriTTS-Datensatz. Audio-Proben, Quellcode und Checkpoints sind verfügbar unter https://github.com/sh-lee-prml/PeriodWave.

English

This paper introduces PeriodWave-Turbo, a high-fidelity and high-efficient waveform generation model via adversarial flow matching optimization. Recently, conditional flow matching (CFM) generative models have been successfully adopted for waveform generation tasks, leveraging a single vector field estimation objective for training. Although these models can generate high-fidelity waveform signals, they require significantly more ODE steps compared to GAN-based models, which only need a single generation step. Additionally, the generated samples often lack high-frequency information due to noisy vector field estimation, which fails to ensure high-frequency reproduction. To address this limitation, we enhance pre-trained CFM-based generative models by incorporating a fixed-step generator modification. We utilized reconstruction losses and adversarial feedback to accelerate high-fidelity waveform generation. Through adversarial flow matching optimization, it only requires 1,000 steps of fine-tuning to achieve state-of-the-art performance across various objective metrics. Moreover, we significantly reduce inference speed from 16 steps to 2 or 4 steps. Additionally, by scaling up the backbone of PeriodWave from 29M to 70M parameters for improved generalization, PeriodWave-Turbo achieves unprecedented performance, with a perceptual evaluation of speech quality (PESQ) score of 4.454 on the LibriTTS dataset. Audio samples, source code and checkpoints will be available at https://github.com/sh-lee-prml/PeriodWave.