Appariement des Moments Inductifs

Inductive Moment Matching

March 10, 2025

Auteurs: Linqi Zhou, Stefano Ermon, Jiaming Song

cs.AI

Résumé

Les modèles de diffusion et le Flow Matching génèrent des échantillons de haute qualité mais sont lents lors de l'inférence, et leur distillation en modèles à quelques étapes entraîne souvent des instabilités et nécessite un réglage approfondi. Pour résoudre ces compromis, nous proposons l'Inductive Moment Matching (IMM), une nouvelle classe de modèles génératifs permettant un échantillonnage en une ou quelques étapes avec une procédure d'entraînement en une seule étape. Contrairement à la distillation, IMM ne nécessite pas d'initialisation par pré-entraînement ni l'optimisation de deux réseaux ; et contrairement aux Consistency Models, IMM garantit une convergence au niveau de la distribution et reste stable sous divers hyperparamètres et architectures de modèles standards. IMM surpasse les modèles de diffusion sur ImageNet-256x256 avec un FID de 1,99 en utilisant seulement 8 étapes d'inférence et atteint un FID en 2 étapes de pointe de 1,98 sur CIFAR-10 pour un modèle entraîné à partir de zéro.

English

Diffusion models and Flow Matching generate high-quality samples but are slow at inference, and distilling them into few-step models often leads to instability and extensive tuning. To resolve these trade-offs, we propose Inductive Moment Matching (IMM), a new class of generative models for one- or few-step sampling with a single-stage training procedure. Unlike distillation, IMM does not require pre-training initialization and optimization of two networks; and unlike Consistency Models, IMM guarantees distribution-level convergence and remains stable under various hyperparameters and standard model architectures. IMM surpasses diffusion models on ImageNet-256x256 with 1.99 FID using only 8 inference steps and achieves state-of-the-art 2-step FID of 1.98 on CIFAR-10 for a model trained from scratch.