Is er een betere brondistributie dan Gaussisch? Onderzoek naar brondistributies voor image flow matching

Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching

December 20, 2025

Auteurs: Junho Lee, Kwanseok Kim, Joonseok Lee

cs.AI

Samenvatting

Flow matching is naar voren gekomen als een krachtige benadering voor generatief modelleren met flexibele keuzes van brondistributies. Hoewel Gaussische distributies algemeen gebruikt worden, blijft het potentieel voor betere alternatieven bij de generatie van hoogdimensionale data grotendeels onontgonnen. In dit artikel stellen we een nieuwe 2D-simulatie voor die hoogdimensionale geometrische eigenschappen vastlegt in een interpreteerbare 2D-omgeving, waardoor we de leer dynamiek van flow matching tijdens de training kunnen analyseren. Op basis van deze analyse leiden we verschillende belangrijke inzichten af over het gedrag van flow matching: (1) dichtheidsbenadering kan paradoxaal genoeg de prestaties verslechteren door modusdiscrepantie, (2) directionele uitlijning lijdt onder padverstrengeling bij overmatige concentratie, (3) de omnidirectionele dekking van Gaussische distributies zorgt voor robuust leren, en (4) normmisalignering brengt substantiële leerkosten met zich mee. Voortbouwend op deze inzichten stellen we een praktisch raamwerk voor dat norm-uitgelijnde training combineert met directioneel gesnoeide steekproefname. Deze aanpak behoudt de robuuste omnidirectionele supervisie die essentieel is voor stabiel flow leren, terwijl initialisaties in data-arme regio's tijdens inferentie worden geëlimineerd. Belangrijk is dat onze snoeistrategie kan worden toegepast op elk flow matching-model dat is getraind met een Gaussische bron, wat directe prestatieverbeteringen biedt zonder hertraining. Empirische evaluaties tonen consistente verbeteringen aan in zowel generatiekwaliteit als steekproefefficiëntie. Onze bevindingen bieden praktische inzichten en richtlijnen voor het ontwerpen van brondistributies en introduceren een direct toepasbare techniek voor het verbeteren van bestaande flow matching-modellen. Onze code is beschikbaar op https://github.com/kwanseokk/SourceFM.

English

Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.