Versnellen van hoogwaardige golfvormgeneratie via adversariële flow matching optimalisatie

Accelerating High-Fidelity Waveform Generation via Adversarial Flow Matching Optimization

August 15, 2024

Auteurs: Sang-Hoon Lee, Ha-Yeong Choi, Seong-Whan Lee

cs.AI

Samenvatting

Dit artikel introduceert PeriodWave-Turbo, een model voor het genereren van hoogwaardige en efficiënte golfvormen via adversarial flow matching optimalisatie. Recentelijk zijn conditionele flow matching (CFM) generatieve modellen met succes toegepast voor taken in golfvormgeneratie, waarbij gebruik wordt gemaakt van een enkel vectorveldschattingsdoel voor training. Hoewel deze modellen hoogwaardige golfvormsignalen kunnen genereren, vereisen ze aanzienlijk meer ODE-stappen in vergelijking met GAN-gebaseerde modellen, die slechts één generatiestap nodig hebben. Bovendien ontbreekt er vaak hoogfrequente informatie in de gegenereerde samples vanwege een ruw vectorveldschatting, wat een nauwkeurige hoogfrequente reproductie niet garandeert. Om deze beperking aan te pakken, verbeteren we vooraf getrainde CFM-gebaseerde generatieve modellen door een vaste-stap generatoraanpassing te incorporeren. We gebruikten reconstructieverliezen en adversarial feedback om de generatie van hoogwaardige golfvormen te versnellen. Door adversarial flow matching optimalisatie is slechts 1.000 stappen van fine-tuning nodig om state-of-the-art prestaties te bereiken op verschillende objectieve metrieken. Bovendien hebben we de inferentiesnelheid aanzienlijk verminderd van 16 stappen naar 2 of 4 stappen. Daarnaast bereikt PeriodWave-Turbo, door het opschalen van de backbone van PeriodWave van 29M naar 70M parameters voor verbeterde generalisatie, ongekende prestaties, met een perceptuele evaluatie van spraakkwaliteit (PESQ) score van 4.454 op de LibriTTS dataset. Audiovoorbeelden, broncode en checkpoints zullen beschikbaar zijn op https://github.com/sh-lee-prml/PeriodWave.

English

This paper introduces PeriodWave-Turbo, a high-fidelity and high-efficient waveform generation model via adversarial flow matching optimization. Recently, conditional flow matching (CFM) generative models have been successfully adopted for waveform generation tasks, leveraging a single vector field estimation objective for training. Although these models can generate high-fidelity waveform signals, they require significantly more ODE steps compared to GAN-based models, which only need a single generation step. Additionally, the generated samples often lack high-frequency information due to noisy vector field estimation, which fails to ensure high-frequency reproduction. To address this limitation, we enhance pre-trained CFM-based generative models by incorporating a fixed-step generator modification. We utilized reconstruction losses and adversarial feedback to accelerate high-fidelity waveform generation. Through adversarial flow matching optimization, it only requires 1,000 steps of fine-tuning to achieve state-of-the-art performance across various objective metrics. Moreover, we significantly reduce inference speed from 16 steps to 2 or 4 steps. Additionally, by scaling up the backbone of PeriodWave from 29M to 70M parameters for improved generalization, PeriodWave-Turbo achieves unprecedented performance, with a perceptual evaluation of speech quality (PESQ) score of 4.454 on the LibriTTS dataset. Audio samples, source code and checkpoints will be available at https://github.com/sh-lee-prml/PeriodWave.