Existe-t-il une meilleure distribution source que la Gaussienne ? Exploration des distributions sources pour l'appariement de flux d'images

Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching

December 20, 2025

papers.authors: Junho Lee, Kwanseok Kim, Joonseok Lee

cs.AI

papers.abstract

L'appariement de flux est apparu comme une approche puissante de modélisation générative offrant des choix flexibles de distribution source. Bien que les distributions gaussiennes soient couramment utilisées, le potentiel d'alternatives meilleures pour la génération de données en haute dimension reste largement inexploré. Dans cet article, nous proposons une nouvelle simulation 2D qui capture les propriétés géométriques de haute dimension dans un cadre 2D interprétable, nous permettant d'analyser la dynamique d'apprentissage de l'appariement de flux pendant l'entraînement. Sur la base de cette analyse, nous tirons plusieurs conclusions clés sur le comportement de l'appariement de flux : (1) l'approximation de densité peut paradoxalement dégrader les performances en raison d'un écart modal, (2) l'alignement directionnel souffre d'un enchevêtrement des trajectoires lorsqu'il est trop concentré, (3) la couverture omnidirectionnelle de la Gaussienne assure un apprentissage robuste, et (4) un désalignement de la norme entraîne des coûts d'apprentissage substantiels. En nous appuyant sur ces observations, nous proposons un cadre pratique qui combine un entraînement aligné en norme avec un échantillonnage élagué directionnellement. Cette approche maintient la supervision omnidirectionnelle robuste essentielle à un apprentissage stable des flux, tout en éliminant les initialisations dans les régions pauvres en données lors de l'inférence. Important, notre stratégie d'élagage peut être appliquée à tout modèle d'appariement de flux entraîné avec une source gaussienne, offrant des gains de performance immédiats sans nécessiter de réentraînement. Les évaluations empiriques démontrent des améliorations constantes à la fois en qualité de génération et en efficacité d'échantillonnage. Nos résultats fournissent des perspectives pratiques et des lignes directrices pour la conception de distributions sources et introduisent une technique directement applicable pour améliorer les modèles existants d'appariement de flux. Notre code est disponible à l'adresse https://github.com/kwanseokk/SourceFM.

English

Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.