Correspondência Indutiva de Momentos

Inductive Moment Matching

March 10, 2025

Autores: Linqi Zhou, Stefano Ermon, Jiaming Song

cs.AI

Resumo

Modelos de difusão e Flow Matching geram amostras de alta qualidade, mas são lentos na inferência, e sua destilação em modelos de poucos passos frequentemente resulta em instabilidade e necessidade de extenso ajuste. Para resolver esses trade-offs, propomos o Inductive Moment Matching (IMM), uma nova classe de modelos generativos para amostragem em um ou poucos passos com um procedimento de treinamento em estágio único. Diferente da destilação, o IMM não requer inicialização por pré-treinamento e otimização de duas redes; e, ao contrário dos Consistency Models, o IMM garante convergência em nível de distribuição e permanece estável sob diversos hiperparâmetros e arquiteturas de modelo padrão. O IMM supera modelos de difusão no ImageNet-256x256 com FID de 1,99 usando apenas 8 passos de inferência e alcança um FID de 1,98 em 2 passos no CIFAR-10, estabelecendo um novo estado da arte para modelos treinados do zero.

English

Diffusion models and Flow Matching generate high-quality samples but are slow at inference, and distilling them into few-step models often leads to instability and extensive tuning. To resolve these trade-offs, we propose Inductive Moment Matching (IMM), a new class of generative models for one- or few-step sampling with a single-stage training procedure. Unlike distillation, IMM does not require pre-training initialization and optimization of two networks; and unlike Consistency Models, IMM guarantees distribution-level convergence and remains stable under various hyperparameters and standard model architectures. IMM surpasses diffusion models on ImageNet-256x256 with 1.99 FID using only 8 inference steps and achieves state-of-the-art 2-step FID of 1.98 on CIFAR-10 for a model trained from scratch.