Consistencia Temporal de Pares para la Reducción de Varianza en Emparejamiento de Flujos
Temporal Pair Consistency for Variance-Reduced Flow Matching
February 4, 2026
Autores: Chika Maduabuchi, Jindong Wang
cs.AI
Resumen
Los modelos generativos en tiempo continuo, como los modelos de difusión, el *flow matching* y el *rectified flow*, aprenden campos vectoriales dependientes del tiempo, pero normalmente se entrenan con objetivos que tratan los intervalos de tiempo de forma independiente, lo que genera una alta varianza del estimador y un muestreo ineficiente. Enfoques previos mitigan esto mediante penalizaciones explícitas de suavidad, regularización de trayectorias o modificaciones de las trayectorias de probabilidad y los solucionadores. Introducimos la Consistencia Temporal por Pares (TPC, por sus siglas en inglés), un principio ligero de reducción de varianza que acopla las predicciones de velocidad en intervalos de tiempo emparejados a lo largo de la misma trayectoria de probabilidad, operando completamente a nivel del estimador sin modificar la arquitectura del modelo, la trayectoria de probabilidad o el solucionador. Proporcionamos un análisis teórico que muestra que TPC induce una regularización cuadrática y acoplada a la trayectoria que, de forma demostrable, reduce la varianza del gradiente mientras preserva el objetivo subyacente de *flow matching*. Instanciado dentro del *flow matching*, TPC mejora la calidad y eficiencia del muestreo en CIFAR-10 e ImageNet a múltiples resoluciones, logrando un FID más bajo con un coste computacional idéntico o inferior al de métodos anteriores, y se extiende sin problemas a pipelines modernos de estilo *state-of-the-art* (SOTA) con entrenamiento aumentado por ruido, eliminación de ruido basada en *scores* y *rectified flow*.
English
Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.