SiT: Исследование потоковых и диффузионных генеративных моделей с масштабируемыми интерполянтными трансформерами

SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers

January 16, 2024

Авторы: Nanye Ma, Mark Goldstein, Michael S. Albergo, Nicholas M. Boffi, Eric Vanden-Eijnden, Saining Xie

cs.AI

Аннотация

Мы представляем Scalable Interpolant Transformers (SiT) — семейство генеративных моделей, построенных на основе Diffusion Transformers (DiT). Интерполянтный фреймворк, который позволяет связывать два распределения более гибким способом, чем стандартные диффузионные модели, делает возможным модульное изучение различных проектных решений, влияющих на генеративные модели, основанные на динамическом транспорте: использование дискретного или непрерывного времени обучения, выбор целевой функции для модели, выбор интерполянта, связывающего распределения, и применение детерминированного или стохастического сэмплера. Тщательно вводя вышеуказанные компоненты, SiT превосходит DiT по всем размерам моделей на бенчмарке условного ImageNet 256x256, используя точно такую же архитектуру, количество параметров и GFLOPs. Исследуя различные коэффициенты диффузии, которые можно настраивать отдельно от обучения, SiT достигает показателя FID-50K, равного 2.06.

English

We present Scalable Interpolant Transformers (SiT), a family of generative models built on the backbone of Diffusion Transformers (DiT). The interpolant framework, which allows for connecting two distributions in a more flexible way than standard diffusion models, makes possible a modular study of various design choices impacting generative models built on dynamical transport: using discrete vs. continuous time learning, deciding the objective for the model to learn, choosing the interpolant connecting the distributions, and deploying a deterministic or stochastic sampler. By carefully introducing the above ingredients, SiT surpasses DiT uniformly across model sizes on the conditional ImageNet 256x256 benchmark using the exact same backbone, number of parameters, and GFLOPs. By exploring various diffusion coefficients, which can be tuned separately from learning, SiT achieves an FID-50K score of 2.06.