ガウス分布より優れたソース分布は存在するか？画像フローマッチングにおけるソース分布の探求

Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching

December 20, 2025

著者: Junho Lee, Kwanseok Kim, Joonseok Lee

cs.AI

要旨

Flow matchingは、ソース分布の選択が柔軟な強力な生成モデリング手法として登場している。ガウス分布が一般的に使用されるが、高次元データ生成におけるより優れた代替分布の可能性はほとんど探られていない。本論文では、解釈可能な2次元設定で高次元の幾何学的特性を捉えた新しい2次元シミュレーションを提案し、flow matchingの学習ダイナミクスを訓練中に分析することを可能にする。この分析に基づき、flow matchingの動作に関するいくつかの重要な知見を導出する：(1) 密度近似はモード不一致により逆説的に性能を劣化させうる、(2) 方向性の整列は過度に集中すると経路のもつれに苦しむ、(3) ガウス分布の全方向カバレッジは堅牢な学習を保証する、(4) ノルムの不一致は大きな学習コストを招く。これらの知見に基づき、ノルム整合訓練と方向性プルーニングサンプリングを組み合わせた実用的なフレームワークを提案する。このアプローチは、安定したflow学習に不可欠な堅牢な全方向性の監督を維持しつつ、推論時にデータ希薄領域での初期化を排除する。重要な点として、我々のプルーニング戦略はガウスソースで訓練された任意のflow matchingモデルに適用可能であり、再訓練を必要とせず即座に性能向上をもたらす。実証評価により、生成品質とサンプリング効率の両方で一貫した改善が実証された。我々の発見は、ソース分布設計に関する実用的な知見とガイドラインを提供し、既存のflow matchingモデルを改善する即適用可能な技術を導入する。コードはhttps://github.com/kwanseokk/SourceFMで公開されている。

English

Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.