安定した速度：フローマッチングにおける分散の観点から

Stable Velocity: A Variance Perspective on Flow Matching

February 5, 2026

著者: Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao

cs.AI

要旨

フローマッチングは優雅な手法であるが、単一サンプルの条件付き速度に依存するため、分散の高い訓練目標が生じ、最適化が不安定になり収束が遅延する。本論文ではこの分散を明示的に特徴づけることで、1) 事前分布近傍の高分散領域（最適化が困難）と、2) データ分布近傍の低分散領域（条件付き速度と周辺速度がほぼ一致）を特定する。この知見を活用し、訓練とサンプリングの両方を改善する統一フレームワークStable Velocityを提案する。訓練では、不偏性を保ちつつ分散低減を図る目標関数Stable Velocity Matching（StableVM）と、低分散領域で補助的な教師信号を適応的に強化するVariance-Aware Representation Alignment（VA-REPA）を導入する。推論では、低分散領域における動力学が閉形式での単純化を許容することを示し、ファインチューニング不要の高速化手法Stable Velocity Sampling（StableVS）を実現する。ImageNet 256×256および大規模事前学習済みテキスト画像生成モデル（SD3.5、Flux、Qwen-Image、Wan2.2）を用いた大規模実験により、訓練効率の向上と、サンプル品質を劣化させることなく低分散領域内で2倍以上高速なサンプリングを実現することを実証した。コードはhttps://github.com/linYDTHU/StableVelocityで公開している。

English

While flow matching is elegant, its reliance on single-sample conditional velocities leads to high-variance training targets that destabilize optimization and slow convergence. By explicitly characterizing this variance, we identify 1) a high-variance regime near the prior, where optimization is challenging, and 2) a low-variance regime near the data distribution, where conditional and marginal velocities nearly coincide. Leveraging this insight, we propose Stable Velocity, a unified framework that improves both training and sampling. For training, we introduce Stable Velocity Matching (StableVM), an unbiased variance-reduction objective, along with Variance-Aware Representation Alignment (VA-REPA), which adaptively strengthen auxiliary supervision in the low-variance regime. For inference, we show that dynamics in the low-variance regime admit closed-form simplifications, enabling Stable Velocity Sampling (StableVS), a finetuning-free acceleration. Extensive experiments on ImageNet 256times256 and large pretrained text-to-image and text-to-video models, including SD3.5, Flux, Qwen-Image, and Wan2.2, demonstrate consistent improvements in training efficiency and more than 2times faster sampling within the low-variance regime without degrading sample quality. Our code is available at https://github.com/linYDTHU/StableVelocity.