Inductief Moment Matching

Inductive Moment Matching

March 10, 2025

Auteurs: Linqi Zhou, Stefano Ermon, Jiaming Song

cs.AI

Samenvatting

Diffusiemodellen en Flow Matching genereren hoogwaardige samples, maar zijn traag tijdens inferentie, en het destilleren ervan naar modellen met weinig stappen leidt vaak tot instabiliteit en uitgebreide afstemming. Om deze afwegingen op te lossen, stellen we Inductive Moment Matching (IMM) voor, een nieuwe klasse van generatieve modellen voor één of weinig-staps sampling met een enkelvoudig trainingsproces. In tegenstelling tot destillatie, vereist IMM geen voorafgaande training, initialisatie en optimalisatie van twee netwerken; en in tegenstelling tot Consistentiemodellen garandeert IMM convergentie op distributieniveau en blijft stabiel onder verschillende hyperparameters en standaard model architecturen. IMM overtreft diffusiemodellen op ImageNet-256x256 met een FID van 1,99 met slechts 8 inferentiestappen en behaalt een state-of-the-art 2-staps FID van 1,98 op CIFAR-10 voor een model dat vanaf nul is getraind.

English

Diffusion models and Flow Matching generate high-quality samples but are slow at inference, and distilling them into few-step models often leads to instability and extensive tuning. To resolve these trade-offs, we propose Inductive Moment Matching (IMM), a new class of generative models for one- or few-step sampling with a single-stage training procedure. Unlike distillation, IMM does not require pre-training initialization and optimization of two networks; and unlike Consistency Models, IMM guarantees distribution-level convergence and remains stable under various hyperparameters and standard model architectures. IMM surpasses diffusion models on ImageNet-256x256 with 1.99 FID using only 8 inference steps and achieves state-of-the-art 2-step FID of 1.98 on CIFAR-10 for a model trained from scratch.