STARFlow : Mise à l'échelle des flux normalisants latents pour la synthèse d'images haute résolution

Résumé

Nous présentons STARFlow, un modèle génératif scalable basé sur les flux normalisés qui atteint des performances élevées en synthèse d'images haute résolution. Le cœur de STARFlow est le Transformer Autoregressive Flow (TARFlow), qui combine la puissance expressive des flux normalisés avec les capacités de modélisation structurée des Transformers Autoregressifs. Nous établissons d'abord l'universalité théorique de TARFlow pour la modélisation de distributions continues. Sur cette base, nous introduisons plusieurs innovations architecturales et algorithmiques clés pour améliorer significativement la scalabilité : (1) une conception profonde-superficielle, où un bloc Transformer profond capture la majeure partie de la capacité de représentation du modèle, complété par quelques blocs Transformers superficiels qui sont efficaces sur le plan computationnel tout en étant substantiellement bénéfiques ; (2) une modélisation dans l'espace latent d'autoencodeurs pré-entraînés, qui s'avère plus efficace qu'une modélisation directe au niveau des pixels ; et (3) un nouvel algorithme de guidage qui améliore significativement la qualité des échantillons. De manière cruciale, notre modèle reste un flux normalisé de bout en bout, permettant un entraînement par maximum de vraisemblance exact dans des espaces continus sans discrétisation. STARFlow atteint des performances compétitives dans les tâches de génération d'images conditionnées par classe et par texte, approchant la qualité des échantillons des modèles de diffusion de pointe. À notre connaissance, ce travail constitue la première démonstration réussie de flux normalisés opérant efficacement à cette échelle et cette résolution.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.

STARFlow : Mise à l'échelle des flux normalisants latents pour la synthèse d'images haute résolution

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

Résumé

Support