Temporale Paarkonsistenz für varianzreduziertes Flow Matching

Temporal Pair Consistency for Variance-Reduced Flow Matching

February 4, 2026

papers.authors: Chika Maduabuchi, Jindong Wang

cs.AI

papers.abstract

Kontinuierliche generative Modelle, wie Diffusionsmodelle, Flow-Matching und Rectified Flow, lernen zeitabhängige Vektorfelder, werden jedoch typischerweise mit Zielfunktionen trainiert, die Zeitschritte unabhängig behandeln. Dies führt zu hoher Schätzer-Varianz und ineffizienter Abtastung. Bisherige Ansätze mildern dies durch explizite Glattheits-Strafterme, Trajektorien-Regularisierung oder modifizierte Wahrscheinlichkeitspfade und Löser. Wir führen Temporale Paar-Konsistenz (Temporal Pair Consistency, TPC) ein, ein leichtgewichtiges Prinzip zur Varianzreduktion, das Geschwindigkeitsvorhersagen an gepaarten Zeitschritten entlang desselben Wahrscheinlichkeitspfades koppelt. TPC operiert vollständig auf der Ebene des Schätzers, ohne die Modellarchitektur, den Wahrscheinlichkeitspfad oder den Löser zu verändern. Wir liefern eine theoretische Analyse, die zeigt, dass TPC eine quadratische, trajektoriengekoppelte Regularisierung induziert, die nachweislich die Gradientenvarianz reduziert, während das zugrundeliegende Flow-Matching-Ziel erhalten bleibt. Innerhalb von Flow-Matching umgesetzt, verbessert TPC die Abtastqualität und -effizienz auf CIFAR-10 und ImageNet bei mehreren Auflösungen, erreicht niedrigere FID-Werte bei identischen oder geringeren Rechenkosten als bisherige Methoden und erweitert sich nahtlos auf moderne SOTA-Pipelines mit rauschaugmentiertem Training, score-basierter Entrauschung und Rectified Flow.

English

Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.