時間的ペア一貫性による分散低減フローマッチング

要旨

連続時間生成モデル（拡散モデル、フローマッチング、整流フローなど）は、時間依存のベクトル場を学習するが、通常、タイムステップを独立に扱う目的関数で訓練されるため、推定量の分散が大きく、効率的なサンプリングが妨げられる。従来のアプローチでは、明示的な平滑性ペナルティ、軌道正則化、または修正された確率経路やソルバーによってこの問題を緩和してきた。本研究では、時間的ペア一貫性（TPC）という軽量な分散低減原理を提案する。TPCは、同一の確率経路上でペアとなるタイムステップにおける速度予測を結合し、モデル構造、確率経路、ソルバーを変更することなく、完全に推定量レベルで動作する。理論分析により、TPCが二次の軌道結合型正則化を誘導し、基礎となるフローマッチング目的を保ちながら勾配分散を確実に低減することを示す。フローマッチングにおいてTPCを具体化すると、CIFAR-10およびImageNetの複数解像度でサンプル品質と効率が向上し、同等または低い計算コストで従来手法より低いFIDを達成する。さらに、ノイズ拡張訓練、スコアベースノイズ除去、整流フローを備えた現代的なSOTAスタイルのパイプラインにもシームレスに拡張可能である。

English

Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.

時間的ペア一貫性による分散低減フローマッチング

Temporal Pair Consistency for Variance-Reduced Flow Matching

要旨

Support