CAR-Flow: La Ricalibrazione Condizionata Allinea Sorgente e Target per un Miglior Flow Matching
CAR-Flow: Condition-Aware Reparameterization Aligns Source and Target for Better Flow Matching
September 23, 2025
Autori: Chen Chen, Pengsheng Guo, Liangchen Song, Jiasen Lu, Rui Qian, Xinze Wang, Tsu-Jui Fu, Wei Liu, Yinfei Yang, Alex Schwing
cs.AI
Abstract
La modellazione generativa condizionale mira a apprendere una distribuzione di dati condizionata a partire da campioni contenenti coppie di dati e condizioni. A tal fine, i metodi basati su diffusione e flussi hanno ottenuto risultati convincenti. Questi metodi utilizzano un modello (di flusso) appreso per trasportare un rumore gaussiano standard iniziale, che ignora la condizione, verso la distribuzione di dati condizionata. Il modello è quindi tenuto a apprendere sia il trasporto di massa che l'iniezione condizionale. Per alleviare la richiesta sul modello, proponiamo il Riparametrizzamento Condizionato per il Flow Matching (CAR-Flow) — uno spostamento leggero e appreso che condiziona la distribuzione sorgente, quella target, o entrambe. Rilocando queste distribuzioni, CAR-Flow accorcia il percorso di probabilità che il modello deve apprendere, portando a un addestramento più rapido nella pratica. Su dati sintetici a bassa dimensionalità, visualizziamo e quantifichiamo gli effetti di CAR. Su dati di immagini naturali a dimensionalità più elevata (ImageNet-256), equipaggiare SiT-XL/2 con CAR-Flow riduce l'FID da 2.07 a 1.68, introducendo meno dello 0.6% di parametri aggiuntivi.
English
Conditional generative modeling aims to learn a conditional data distribution
from samples containing data-condition pairs. For this, diffusion and
flow-based methods have attained compelling results. These methods use a
learned (flow) model to transport an initial standard Gaussian noise that
ignores the condition to the conditional data distribution. The model is hence
required to learn both mass transport and conditional injection. To ease the
demand on the model, we propose Condition-Aware Reparameterization for Flow
Matching (CAR-Flow) -- a lightweight, learned shift that conditions the source,
the target, or both distributions. By relocating these distributions, CAR-Flow
shortens the probability path the model must learn, leading to faster training
in practice. On low-dimensional synthetic data, we visualize and quantify the
effects of CAR. On higher-dimensional natural image data (ImageNet-256),
equipping SiT-XL/2 with CAR-Flow reduces FID from 2.07 to 1.68, while
introducing less than 0.6% additional parameters.