Gibt es eine bessere Quellverteilung als die Gaußverteilung? Untersuchung von Quellverteilungen für Image Flow Matching

Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching

December 20, 2025

papers.authors: Junho Lee, Kwanseok Kim, Joonseok Lee

cs.AI

papers.abstract

Flow Matching hat sich als leistungsstarker generativer Modellierungsansatz mit flexiblen Wahlmöglichkeiten für die Quellverteilung etabliert. Während häufig Gauß-Verteilungen verwendet werden, ist das Potenzial besserer Alternativen für die Erzeugung hochdimensionaler Daten weitgehend unerforscht. In diesem Beitrag stellen wir eine neuartige 2D-Simulation vor, die hochdimensionale geometrische Eigenschaften in einer interpretierbaren 2D-Umgebung erfasst und es uns ermöglicht, die Lern dynamik von Flow Matching während des Trainings zu analysieren. Basierend auf dieser Analyse leiten wir mehrere wichtige Erkenntnisse über das Verhalten von Flow Matching ab: (1) Die Dichteapproximation kann sich paradoxerweise aufgrund von Modusdiskrepanz negativ auf die Leistung auswirken, (2) die Ausrichtung der Richtung leidet unter Pfadverschränkung bei übermäßiger Konzentration, (3) die allseitige Abdeckung der Gauß-Verteilung gewährleistet robustes Lernen und (4) Normenfehlausrichtung verursacht erhebliche Lernkosten. Aufbauend auf diesen Erkenntnissen schlagen wir einen praktischen Rahmen vor, der normenausgerichtetes Training mit richtungsgefiltertem Sampling kombiniert. Dieser Ansatz bewahrt die robuste allseitige Überwachung, die für stabiles Flow-Lernen essentiell ist, und eliminiert gleichzeitig Initialisierungen in datenarmen Regionen während der Inferenz. Wichtig ist, dass unsere Filterstrategie auf jedes Flow-Matching-Modell angewendet werden kann, das mit einer Gauß-Quelle trainiert wurde, und so sofortige Leistungsverbesserungen ohne Neutraining ermöglicht. Empirische Auswertungen zeigen konsistente Verbesserungen sowohl der Generierungsqualität als auch der Sampling-Effizienz. Unsere Ergebnisse liefern praktische Einblicke und Richtlinien für das Design von Quellverteilungen und führen eine sofort anwendbare Technik zur Verbesserung bestehender Flow-Matching-Modelle ein. Unser Code ist verfügbar unter https://github.com/kwanseokk/SourceFM.

English

Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.