귀납적 모멘트 매칭

Inductive Moment Matching

March 10, 2025

저자: Linqi Zhou, Stefano Ermon, Jiaming Song

cs.AI

초록

확산 모델(Diffusion models)과 플로우 매칭(Flow Matching)은 고품질 샘플을 생성하지만 추론 속도가 느리며, 이를 적은 단계의 모델로 증류(distilling)할 경우 종종 불안정성과 광범위한 튜닝이 필요합니다. 이러한 절충점을 해결하기 위해, 우리는 단일 단계의 훈련 절차로 1단계 또는 소수 단계 샘플링이 가능한 새로운 생성 모델 클래스인 귀납적 모멘트 매칭(Inductive Moment Matching, IMM)을 제안합니다. 증류와 달리, IMM은 사전 훈련된 초기화와 두 네트워크의 최적화를 필요로 하지 않으며, 일관성 모델(Consistency Models)과 달리 분포 수준의 수렴을 보장하고 다양한 하이퍼파라미터와 표준 모델 아키텍처 하에서도 안정적으로 유지됩니다. IMM은 ImageNet-256x256에서 단 8번의 추론 단계로 1.99 FID를 달성하며, CIFAR-10에서 처음부터 훈련된 모델로 2단계 FID 1.98의 최첨단 성능을 보여줍니다.

English

Diffusion models and Flow Matching generate high-quality samples but are slow at inference, and distilling them into few-step models often leads to instability and extensive tuning. To resolve these trade-offs, we propose Inductive Moment Matching (IMM), a new class of generative models for one- or few-step sampling with a single-stage training procedure. Unlike distillation, IMM does not require pre-training initialization and optimization of two networks; and unlike Consistency Models, IMM guarantees distribution-level convergence and remains stable under various hyperparameters and standard model architectures. IMM surpasses diffusion models on ImageNet-256x256 with 1.99 FID using only 8 inference steps and achieves state-of-the-art 2-step FID of 1.98 on CIFAR-10 for a model trained from scratch.