¿Existe una distribución de fuentes mejor que la Gaussiana? Exploración de distribuciones de fuentes para el ajuste de flujo de imágenes

Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching

December 20, 2025

Autores: Junho Lee, Kwanseok Kim, Joonseok Lee

cs.AI

Resumen

El emparejamiento de flujos ha surgido como un potente enfoque de modelado generativo con opciones flexibles de distribución fuente. Si bien las distribuciones gaussianas se utilizan comúnmente, el potencial de alternativas mejores en la generación de datos de alta dimensión sigue en gran medida inexplorado. En este artículo, proponemos una novedosa simulación 2D que captura propiedades geométricas de alta dimensión en un entorno 2D interpretable, permitiéndonos analizar la dinámica de aprendizaje del emparejamiento de flujos durante el entrenamiento. Basándonos en este análisis, derivamos varias ideas clave sobre el comportamiento del emparejamiento de flujos: (1) la aproximación de densidad puede paradójicamente degradar el rendimiento debido a la discrepancia modal, (2) la alineación direccional sufre de entrelazamiento de trayectorias cuando está excesivamente concentrada, (3) la cobertura omnidireccional de la Gaussiana garantiza un aprendizaje robusto, y (4) la desalineación de la norma incurre en costos de aprendizaje sustanciales. Sobre la base de estas ideas, proponemos un marco práctico que combina el entrenamiento con normas alineadas y un muestreo podado direccionalmente. Este enfoque mantiene la supervisión omnidireccional robusta esencial para un aprendizaje estable de flujos, mientras elimina las inicializaciones en regiones con escasez de datos durante la inferencia. Es importante destacar que nuestra estrategia de poda puede aplicarse a cualquier modelo de emparejamiento de flujos entrenado con una fuente Gaussiana, proporcionando mejoras inmediatas de rendimiento sin necesidad de reentrenamiento. Las evaluaciones empíricas demuestran mejoras consistentes tanto en la calidad de la generación como en la eficiencia del muestreo. Nuestros hallazgos proporcionan ideas prácticas y pautas para el diseño de distribuciones fuente e introducen una técnica de aplicación inmediata para mejorar los modelos existentes de emparejamiento de flujos. Nuestro código está disponible en https://github.com/kwanseokk/SourceFM.

English

Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.