SiT: Onderzoek naar stroom- en diffusiegebaseerde generatieve modellen met schaalbare Interpolant Transformers

SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers

January 16, 2024

Auteurs: Nanye Ma, Mark Goldstein, Michael S. Albergo, Nicholas M. Boffi, Eric Vanden-Eijnden, Saining Xie

cs.AI

Samenvatting

We presenteren Scalable Interpolant Transformers (SiT), een familie van generatieve modellen gebouwd op de basis van Diffusion Transformers (DiT). Het interpolant-framework, dat het mogelijk maakt om twee verdelingen op een flexibelere manier te verbinden dan standaard diffusiemodellen, maakt een modulaire studie mogelijk van verschillende ontwerpkeuzes die van invloed zijn op generatieve modellen gebaseerd op dynamisch transport: het gebruik van discreet versus continu tijd leren, het bepalen van het doel voor het model om te leren, het kiezen van de interpolant die de verdelingen verbindt, en het inzetten van een deterministische of stochastische sampler. Door zorgvuldig bovenstaande componenten te introduceren, overtreft SiT DiT uniform over verschillende modelgroottes op de conditionele ImageNet 256x256 benchmark, waarbij exact dezelfde backbone, hetzelfde aantal parameters en GFLOPs worden gebruikt. Door verschillende diffusiecoëfficiënten te verkennen, die apart van het leren kunnen worden afgestemd, behaalt SiT een FID-50K score van 2,06.

English

We present Scalable Interpolant Transformers (SiT), a family of generative models built on the backbone of Diffusion Transformers (DiT). The interpolant framework, which allows for connecting two distributions in a more flexible way than standard diffusion models, makes possible a modular study of various design choices impacting generative models built on dynamical transport: using discrete vs. continuous time learning, deciding the objective for the model to learn, choosing the interpolant connecting the distributions, and deploying a deterministic or stochastic sampler. By carefully introducing the above ingredients, SiT surpasses DiT uniformly across model sizes on the conditional ImageNet 256x256 benchmark using the exact same backbone, number of parameters, and GFLOPs. By exploring various diffusion coefficients, which can be tuned separately from learning, SiT achieves an FID-50K score of 2.06.