Существует ли распределение источников лучше гауссовского? Исследование распределений источников для потокового согласования изображений
Is There a Better Source Distribution than Gaussian? Exploring Source Distributions for Image Flow Matching
December 20, 2025
Авторы: Junho Lee, Kwanseok Kim, Joonseok Lee
cs.AI
Аннотация
Метод согласования потоков стал мощным подходом к генеративному моделированию с гибким выбором исходного распределения. Хотя обычно используются гауссовы распределения, потенциал лучших альтернатив для генерации высокоразмерных данных остается в значительной степени неисследованным. В данной статье мы предлагаем новую 2D-симуляцию, которая отражает геометрические свойства высокоразмерных данных в интерпретируемой двумерной setting, позволяя нам анализировать динамику обучения метода согласования потоков в процессе тренировки. На основе этого анализа мы выводим несколько ключевых инсайтов о поведении согласования потоков: (1) аппроксимация плотности может парадоксальным образом ухудшить производительность из-за расхождения мод, (2) направленное выравнивание страдает от запутанности путей при чрезмерной концентрации, (3) всенаправленное покрытие гауссова распределения обеспечивает устойчивое обучение, и (4) несоответствие норм влечет существенные затраты на обучение. Опираясь на эти инсайты, мы предлагаем практическую framework, которая сочетает обучение с выравниванием норм и направленно-отсеянную выборку. Этот подход сохраняет robust всенаправленный контроль, необходимый для стабильного обучения потоков, одновременно устраняя инициализацию в областях с недостатком данных на этапе inference. Важно, что наша стратегия отсеивания может быть применена к любой модели согласования потоков, обученной с гауссовым исходным распределением, обеспечивая немедленное улучшение производительности без необходимости переобучения. Эмпирические оценки демонстрируют устойчивое улучшение как качества генерации, так и эффективности выборки. Наши результаты предоставляют практические инсайты и guidelines для проектирования исходных распределений и представляют собой готовую к применению технику для улучшения существующих моделей согласования потоков. Наш код доступен по адресу https://github.com/kwanseokk/SourceFM.
English
Flow matching has emerged as a powerful generative modeling approach with flexible choices of source distribution. While Gaussian distributions are commonly used, the potential for better alternatives in high-dimensional data generation remains largely unexplored. In this paper, we propose a novel 2D simulation that captures high-dimensional geometric properties in an interpretable 2D setting, enabling us to analyze the learning dynamics of flow matching during training. Based on this analysis, we derive several key insights about flow matching behavior: (1) density approximation can paradoxically degrade performance due to mode discrepancy, (2) directional alignment suffers from path entanglement when overly concentrated, (3) Gaussian's omnidirectional coverage ensures robust learning, and (4) norm misalignment incurs substantial learning costs. Building on these insights, we propose a practical framework that combines norm-aligned training with directionally-pruned sampling. This approach maintains the robust omnidirectional supervision essential for stable flow learning, while eliminating initializations in data-sparse regions during inference. Importantly, our pruning strategy can be applied to any flow matching model trained with a Gaussian source, providing immediate performance gains without the need for retraining. Empirical evaluations demonstrate consistent improvements in both generation quality and sampling efficiency. Our findings provide practical insights and guidelines for source distribution design and introduce a readily applicable technique for improving existing flow matching models. Our code is available at https://github.com/kwanseokk/SourceFM.