Perzeptuelles Flow Matching für generative Modellierung mit wenigen Schritten

Zusammenfassung

Wir schlagen Perceptual Flow Matching (PFM) vor, ein einfaches, aber effektives Framework für die Generierung mit wenigen Schritten in Flow-Matching-Modellen. Anstatt eine Geschwindigkeitsregression im konventionellen VAE-Latentraum durchzuführen, überwacht PFM den Flussabgleich in einem Wahrnehmungsmerkmalsraum unter Verwendung vortrainierter Wahrnehmungsmodelle. Diese einfache Änderung verbessert die Fähigkeit von Flow-Matching-Modellen zur Generierung mit wenigen Schritten erheblich und reduziert die Anzahl der Abtastschritte von 35–50 auf 4–8, während die Generierungsqualität erhalten bleibt. Im Gegensatz zu bestehenden Beschleunigungs- und Destillationsansätzen benötigt PFM weder Lehrermodelle noch Hilfs-Score-Netzwerke und kann mit minimalen Änderungen in standardmäßige Flow-Matching-Trainingspipelines integriert werden. Umfangreiche Experimente zu Bildgenerierung, Videogenerierung und Bildbearbeitung zeigen, dass PFM konsistent hochwertige Ergebnisse liefert und dabei weniger Artefakte erzeugt als bestehende destillationsbasierte Methoden. Wir zeigen weiterhin, dass die Wahrnehmungsüberwachung den Regressionsminimierer von mittelsuchend zu modussuchend verschiebt und die Vorhersagen in Richtung auf der Mannigfaltigkeit liegender Modi lenkt, die unter grober Integration mit wenigen Schritten genau bleiben. Unsere Ergebnisse zeigen, dass standardmäßiges Flow-Matching-Training auf natürliche Weise hochwertige Generatoren mit wenigen Schritten hervorbringen kann, wenn es in einem geeigneten Repräsentationsraum überwacht wird. Wir hoffen, dass diese Erkenntnis zukünftige Forschung zu repräsentationsbewussten Zielen für effizientes generatives Modellieren anregt.

English

We propose Perceptual Flow Matching (PFM), a simple yet effective framework for few-step generation in flow-matching models. Rather than performing velocity regression in the conventional VAE latent space, PFM supervises flow matching in a perceptual feature space using pretrained perceptual models. This simple change substantially improves the few-step generation capability of flow-matching models, reducing the number of sampling steps from 35-50 to 4-8 while preserving generation quality. Unlike existing acceleration and distillation approaches, PFM requires neither teacher models nor auxiliary score networks and can be integrated into standard flow-matching training pipelines with minimal modifications. Extensive experiments on image generation, video generation, and image editing tasks demonstrate that PFM consistently produces high-quality results while producing fewer artifacts than existing distillation-based methods. We further show that perceptual supervision shifts the regression minimizer from mean-seeking to mode-seeking, biasing predictions toward on-manifold modes that remain accurate under coarse few-step integration. Our results reveal that standard flow-matching training can naturally yield high-quality few-step generators when supervised in an appropriate representation space. We hope this insight inspires future research into representation-aware objectives for efficient generative modeling.