Временная парная согласованность для дисперсионно-редуцированного согласования потоков

Temporal Pair Consistency for Variance-Reduced Flow Matching

February 4, 2026

Авторы: Chika Maduabuchi, Jindong Wang

cs.AI

Аннотация

Непрерывные по времени генеративные модели, такие как диффузионные модели, согласование потоков и выпрямленные потоки, изучают зависящие от времени векторные поля, но обычно обучаются с помощью целевых функций, которые рассматривают временные шаги независимо, что приводит к высокой дисперсии оценок и неэффективной выборке. Предыдущие подходы смягчают эту проблему с помощью явных штрафов за гладкость, регуляризации траекторий или модифицированных вероятностных путей и решателей. Мы представляем Временную Парную Согласованность (TPC) — облегченный принцип снижения дисперсии, который связывает прогнозы скоростей на парных временных шагах вдоль одного и того же вероятностного пути, работая полностью на уровне оценщика без изменения архитектуры модели, вероятностного пути или решателя. Мы предоставляем теоретический анализ, показывающий, что TPC индуцирует квадратичную, связанную с траекторией регуляризацию, которая доказательно снижает дисперсию градиента, сохраняя при этом базовую цель согласования потоков. Реализованная в рамках согласования потоков, TPC улучшает качество и эффективность выборки на наборах данных CIFAR-10 и ImageNet при различных разрешениях, достигая более низкого FID при идентичной или меньшей вычислительной стоимости по сравнению с предыдущими методами, и бесшовно расширяется до современных конвейеров в стиле SOTA с обучением с шумовым аугментированием, score-based денизингом и выпрямленными потоками.

English

Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.