Esiste una distribuzione di sorgente migliore della Gaussiana? Esplorazione delle distribuzioni di sorgente per il flusso di corrispondenza delle immagini
Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching
December 20, 2025
Autori: Junho Lee, Kwanseok Kim, Joonseok Lee
cs.AI
Abstract
Il flow matching è emerso come un potente approccio di modellazione generativa con scelte flessibili di distribuzione sorgente. Sebbene le distribuzioni gaussiane siano comunemente utilizzate, il potenziale di alternative migliori per la generazione di dati ad alta dimensione rimane in gran parte inesplorato. In questo articolo, proponiamo una nuova simulazione 2D che cattura le proprietà geometriche ad alta dimensione in un ambiente 2D interpretabile, consentendoci di analizzare le dinamiche di apprendimento del flow matching durante l'addestramento. Sulla base di questa analisi, ricaviamo diverse intuizioni chiave sul comportamento del flow matching: (1) l'approssimazione della densità può paradossalmente degradare le prestazioni a causa della discrepanza modale, (2) l'allineamento direzionale soffre di entanglement dei percorsi quando è eccessivamente concentrato, (3) la copertura omnidirezionale della Gaussiana garantisce un apprendimento robusto e (4) il disallineamento della norma comporta costi di apprendimento sostanziali. Basandoci su queste intuizioni, proponiamo un quadro pratico che combina l'addestramento con allineamento di norma con un campionamento directionalmente potato. Questo approccio mantiene la supervisione omnidirezionale robusta essenziale per l'apprendimento stabile del flusso, eliminando al contempo le inizializzazioni nelle regioni povere di dati durante l'inferenza. È importante sottolineare che la nostra strategia di pruning può essere applicata a qualsiasi modello di flow matching addestrato con una sorgente gaussiana, fornendo miglioramenti immediati delle prestazioni senza necessità di riaddestramento. Le valutazioni empiriche dimostrano miglioramenti consistenti sia nella qualità della generazione che nell'efficienza del campionamento. I nostri risultati forniscono intuizioni pratiche e linee guida per la progettazione della distribuzione sorgente e introducono una tecnica immediatamente applicabile per migliorare i modelli di flow matching esistenti. Il nostro codice è disponibile all'indirizzo https://github.com/kwanseokk/SourceFM.
English
Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.