Temporale Paarconsistentie voor Variantie-gereduceerde Stroomafstemming

Temporal Pair Consistency for Variance-Reduced Flow Matching

February 4, 2026

Auteurs: Chika Maduabuchi, Jindong Wang

cs.AI

Samenvatting

Continue-tijd generatieve modellen, zoals diffusiemodellen, flow matching en rectified flow, leren tijdafhankelijke vectorvelden maar worden doorgaans getraind met doelfuncties die tijdstappen onafhankelijk behandelen, wat leidt tot hoge schattervariantie en inefficiënte sampling. Eerdere benaderingen verminderen dit via expliciete gladstrafpunten, trajectregularisatie of aangepaste waarschijnlijkheidspaden en oplossers. Wij introduceren Temporale Paarconsistentie (TPC), een lichtgewicht variantieverlagingsprincipe dat snelheidsvoorspellingen koppelt bij gepaarde tijdstappen langs hetzelfde waarschijnlijkheidspad, opererend volledig op schatterniveau zonder de modelarchitectuur, het waarschijnlijkheidspad of de oploser aan te passen. Wij bieden een theoretische analyse die aantoont dat TPC een kwadratische, trajectgekoppelde regularisatie induceert die aantoonbaar de gradiëntvariantie vermindert terwijl het onderliggende flow-matching-doel behouden blijft. Geïmplementeerd binnen flow matching verbetert TPC de samplekwaliteit en -efficiëntie op CIFAR-10 en ImageNet bij meerdere resoluties, waarbij een lagere FID wordt bereikt tegen gelijke of lagere computationele kosten dan eerdere methoden, en integreert naadloos in moderne SOTA-pijplijnen met ruis-aangevulde training, score-gebaseerde denoisering en rectified flow.

English

Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.