CAR-Flow: Условная репараметризация согласует исходные и целевые данные для улучшения сопоставления потоков

CAR-Flow: Condition-Aware Reparameterization Aligns Source and Target for Better Flow Matching

September 23, 2025

Авторы: Chen Chen, Pengsheng Guo, Liangchen Song, Jiasen Lu, Rui Qian, Xinze Wang, Tsu-Jui Fu, Wei Liu, Yinfei Yang, Alex Schwing

cs.AI

Аннотация

Условное генеративное моделирование направлено на изучение условного распределения данных по выборкам, содержащим пары данных и условий. Для этого методы, основанные на диффузии и потоках, достигли впечатляющих результатов. Эти методы используют обученную (потоковую) модель для преобразования начального стандартного гауссовского шума, игнорирующего условие, в условное распределение данных. Таким образом, модель должна одновременно изучать как перенос массы, так и инъекцию условий. Чтобы снизить требования к модели, мы предлагаем метод Condition-Aware Reparameterization for Flow Matching (CAR-Flow) — легковесный, обученный сдвиг, который учитывает условия для исходного, целевого или обоих распределений. Перемещая эти распределения, CAR-Flow сокращает вероятностный путь, который должна изучить модель, что на практике приводит к ускорению обучения. На низкоразмерных синтетических данных мы визуализируем и количественно оцениваем эффекты CAR. На высокоразмерных данных натуральных изображений (ImageNet-256) оснащение модели SiT-XL/2 методом CAR-Flow снижает FID с 2.07 до 1.68, при этом добавляя менее 0.6% дополнительных параметров.

English

Conditional generative modeling aims to learn a conditional data distribution from samples containing data-condition pairs. For this, diffusion and flow-based methods have attained compelling results. These methods use a learned (flow) model to transport an initial standard Gaussian noise that ignores the condition to the conditional data distribution. The model is hence required to learn both mass transport and conditional injection. To ease the demand on the model, we propose Condition-Aware Reparameterization for Flow Matching (CAR-Flow) -- a lightweight, learned shift that conditions the source, the target, or both distributions. By relocating these distributions, CAR-Flow shortens the probability path the model must learn, leading to faster training in practice. On low-dimensional synthetic data, we visualize and quantify the effects of CAR. On higher-dimensional natural image data (ImageNet-256), equipping SiT-XL/2 with CAR-Flow reduces FID from 2.07 to 1.68, while introducing less than 0.6% additional parameters.