STARFlow: Масштабирование латентных нормализующих потоков для синтеза изображений высокого разрешения
STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis
June 6, 2025
Авторы: Jiatao Gu, Tianrong Chen, David Berthelot, Huangjie Zheng, Yuyang Wang, Ruixiang Zhang, Laurent Dinh, Miguel Angel Bautista, Josh Susskind, Shuangfei Zhai
cs.AI
Аннотация
Мы представляем STARFlow, масштабируемую генеративную модель на основе нормализующих потоков, которая демонстрирует высокую производительность в синтезе изображений с высоким разрешением. Основой STARFlow является Transformer Autoregressive Flow (TARFlow), который сочетает выразительную мощь нормализующих потоков с возможностями структурированного моделирования авторегрессивных трансформеров. Сначала мы устанавливаем теоретическую универсальность TARFlow для моделирования непрерывных распределений. На основе этого фундамента мы вводим несколько ключевых архитектурных и алгоритмических инноваций, которые значительно повышают масштабируемость: (1) глубокая-поверхностная архитектура, где глубокий блок трансформера захватывает большую часть репрезентативной способности модели, дополненная несколькими поверхностными блоками трансформера, которые вычислительно эффективны, но существенно полезны; (2) моделирование в латентном пространстве предобученных автоэнкодеров, что оказывается более эффективным, чем прямое моделирование на уровне пикселей; и (3) новый алгоритм наведения, который значительно улучшает качество образцов. Важно, что наша модель остается сквозным нормализующим потоком, что позволяет проводить точное обучение методом максимального правдоподобия в непрерывных пространствах без дискретизации. STARFlow демонстрирует конкурентоспособные результаты как в задачах условной генерации изображений по классам, так и по тексту, приближаясь к современным диффузионным моделям по качеству образцов. Насколько нам известно, это первая успешная демонстрация нормализующих потоков, эффективно работающих на таком масштабе и разрешении.
English
We present STARFlow, a scalable generative model based on normalizing flows
that achieves strong performance in high-resolution image synthesis. The core
of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the
expressive power of normalizing flows with the structured modeling capabilities
of Autoregressive Transformers. We first establish the theoretical universality
of TARFlow for modeling continuous distributions. Building on this foundation,
we introduce several key architectural and algorithmic innovations to
significantly enhance scalability: (1) a deep-shallow design, wherein a deep
Transformer block captures most of the model representational capacity,
complemented by a few shallow Transformer blocks that are computationally
efficient yet substantially beneficial; (2) modeling in the latent space of
pretrained autoencoders, which proves more effective than direct pixel-level
modeling; and (3) a novel guidance algorithm that significantly boosts sample
quality. Crucially, our model remains an end-to-end normalizing flow, enabling
exact maximum likelihood training in continuous spaces without discretization.
STARFlow achieves competitive performance in both class-conditional and
text-conditional image generation tasks, approaching state-of-the-art diffusion
models in sample quality. To our knowledge, this work is the first successful
demonstration of normalizing flows operating effectively at this scale and
resolution.