Existe uma Distribuição de Fonte Melhor que a Gaussiana? Explorando Distribuições de Fonte para Emparelhamento de Fluxo em Imagens
Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching
December 20, 2025
Autores: Junho Lee, Kwanseok Kim, Joonseok Lee
cs.AI
Resumo
O *flow matching* emergiu como uma abordagem poderosa de modelagem generativa com escolhas flexíveis de distribuição de origem. Embora as distribuições Gaussianas sejam comumente utilizadas, o potencial de alternativas melhores para a geração de dados de alta dimensão permanece largamente inexplorado. Neste artigo, propomos uma nova simulação 2D que captura propriedades geométricas de alta dimensão num contexto 2D interpretável, permitindo-nos analisar a dinâmica de aprendizagem do *flow matching* durante o treino. Com base nesta análise, derivamos vários *insights* fundamentais sobre o comportamento do *flow matching*: (1) a aproximação de densidade pode, paradoxalmente, degradar o desempenho devido à discrepância de modos, (2) o alinhamento direcional sofre de emaranhamento de caminhos quando excessivamente concentrado, (3) a cobertura omnidirecional da Gaussiana garante uma aprendizagem robusta, e (4) o desalinhamento de norma incorre em custos de aprendizagem substanciais. Com base nestes *insights*, propomos um quadro prático que combina o treino com alinhamento de norma com uma amostragem com poda direcional. Esta abordagem mantém a supervisão omnidirecional robusta, essencial para uma aprendizagem estável do *flow*, ao mesmo tempo que elimina inicializações em regiões esparsas de dados durante a inferência. Importante, a nossa estratégia de poda pode ser aplicada a qualquer modelo de *flow matching* treinado com uma fonte Gaussiana, fornecendo ganhos imediatos de desempenho sem necessidade de retreino. Avaliações empíricas demonstram melhorias consistentes tanto na qualidade de geração como na eficiência de amostragem. As nossas descobertas fornecem *insights* práticos e diretrizes para o desenho da distribuição de origem e introduzem uma técnica prontamente aplicável para melhorar os modelos existentes de *flow matching*. O nosso código está disponível em https://github.com/kwanseokk/SourceFM.
English
Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.