CAR-Flow: Bedingungsbewusste Neuparametrisierung sorgt für bessere Übereinstimmung zwischen Quelle und Ziel im Flow Matching

CAR-Flow: Condition-Aware Reparameterization Aligns Source and Target for Better Flow Matching

September 23, 2025

papers.authors: Chen Chen, Pengsheng Guo, Liangchen Song, Jiasen Lu, Rui Qian, Xinze Wang, Tsu-Jui Fu, Wei Liu, Yinfei Yang, Alex Schwing

cs.AI

papers.abstract

Das konditionale generative Modellieren zielt darauf ab, eine konditionale Datenverteilung aus Stichproben zu lernen, die Daten-Konditions-Paare enthalten. Hierfür haben Diffusions- und flussbasierte Methoden überzeugende Ergebnisse erzielt. Diese Methoden verwenden ein gelerntes (Fluss-)Modell, um ein anfängliches Standard-Gaußsches Rauschen, das die Bedingung ignoriert, in die konditionale Datenverteilung zu transportieren. Das Modell muss somit sowohl den Massentransport als auch die konditionale Injektion erlernen. Um die Anforderungen an das Modell zu verringern, schlagen wir die Condition-Aware Reparameterization for Flow Matching (CAR-Flow) vor – eine leichtgewichtige, gelernte Verschiebung, die die Quell-, die Ziel- oder beide Verteilungen konditioniert. Durch die Verlagerung dieser Verteilungen verkürzt CAR-Flow den Wahrscheinlichkeitspfad, den das Modell lernen muss, was in der Praxis zu schnellerem Training führt. Bei niedrigdimensionalen synthetischen Daten visualisieren und quantifizieren wir die Effekte von CAR. Bei höherdimensionalen natürlichen Bilddaten (ImageNet-256) reduziert die Ausstattung von SiT-XL/2 mit CAR-Flow den FID von 2,07 auf 1,68, während weniger als 0,6 % zusätzliche Parameter eingeführt werden.

English

Conditional generative modeling aims to learn a conditional data distribution from samples containing data-condition pairs. For this, diffusion and flow-based methods have attained compelling results. These methods use a learned (flow) model to transport an initial standard Gaussian noise that ignores the condition to the conditional data distribution. The model is hence required to learn both mass transport and conditional injection. To ease the demand on the model, we propose Condition-Aware Reparameterization for Flow Matching (CAR-Flow) -- a lightweight, learned shift that conditions the source, the target, or both distributions. By relocating these distributions, CAR-Flow shortens the probability path the model must learn, leading to faster training in practice. On low-dimensional synthetic data, we visualize and quantify the effects of CAR. On higher-dimensional natural image data (ImageNet-256), equipping SiT-XL/2 with CAR-Flow reduces FID from 2.07 to 1.68, while introducing less than 0.6% additional parameters.