AlphaFlow: 平均フローモデルの理解と改良

要旨

MeanFlowは、スクラッチから学習された数ステップ生成モデリングの強力なフレームワークとして最近登場したが、その成功はまだ完全には理解されていない。本研究では、MeanFlowの目的関数が自然に二つの部分、すなわち軌道フローマッチングと軌道一貫性に分解されることを示す。勾配分析を通じて、これらの項が強い負の相関を持ち、最適化の衝突と収束の遅延を引き起こしていることを明らかにする。これらの知見に基づき、我々はalpha-Flowを提案する。これは、軌道フローマッチング、Shortcut Model、MeanFlowを一つの定式化の下に統合する広範な目的関数群である。軌道フローマッチングからMeanFlowへ滑らかに移行するカリキュラム戦略を採用することで、alpha-Flowは衝突する目的関数を分離し、より優れた収束性を達成する。クラス条件付きImageNet-1K 256x256において、標準的なDiTバックボーンを用いてスクラッチから学習した場合、alpha-Flowは様々なスケールと設定において一貫してMeanFlowを上回る性能を示す。我々の最大のモデルであるalpha-Flow-XL/2+は、標準的なDiTバックボーンを用いて新たなstate-of-the-art結果を達成し、FIDスコアは2.58（1-NFE）および2.15（2-NFE）であった。

English

MeanFlow has recently emerged as a powerful framework for few-step generative modeling trained from scratch, but its success is not yet fully understood. In this work, we show that the MeanFlow objective naturally decomposes into two parts: trajectory flow matching and trajectory consistency. Through gradient analysis, we find that these terms are strongly negatively correlated, causing optimization conflict and slow convergence. Motivated by these insights, we introduce alpha-Flow, a broad family of objectives that unifies trajectory flow matching, Shortcut Model, and MeanFlow under one formulation. By adopting a curriculum strategy that smoothly anneals from trajectory flow matching to MeanFlow, alpha-Flow disentangles the conflicting objectives, and achieves better convergence. When trained from scratch on class-conditional ImageNet-1K 256x256 with vanilla DiT backbones, alpha-Flow consistently outperforms MeanFlow across scales and settings. Our largest alpha-Flow-XL/2+ model achieves new state-of-the-art results using vanilla DiT backbones, with FID scores of 2.58 (1-NFE) and 2.15 (2-NFE).

AlphaFlow: 平均フローモデルの理解と改良

AlphaFlow: Understanding and Improving MeanFlow Models

要旨

Support