STARFlow: Scalabilità dei Flussi Normalizzanti Latenti per la Sintesi di Immagini ad Alta Risoluzione

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

June 6, 2025

Autori: Jiatao Gu, Tianrong Chen, David Berthelot, Huangjie Zheng, Yuyang Wang, Ruixiang Zhang, Laurent Dinh, Miguel Angel Bautista, Josh Susskind, Shuangfei Zhai

cs.AI

Abstract

Presentiamo STARFlow, un modello generativo scalabile basato su flussi normalizzanti che raggiunge prestazioni elevate nella sintesi di immagini ad alta risoluzione. Il cuore di STARFlow è il Transformer Autoregressive Flow (TARFlow), che combina il potere espressivo dei flussi normalizzanti con le capacità di modellazione strutturata dei Transformer Autoregressivi. Iniziamo stabilendo l'universalità teorica di TARFlow per la modellazione di distribuzioni continue. Su questa base, introduciamo diverse innovazioni architetturali e algoritmiche chiave per migliorare significativamente la scalabilità: (1) un design deep-shallow, in cui un blocco Transformer profondo cattura la maggior parte della capacità rappresentativa del modello, affiancato da pochi blocchi Transformer superficiali che sono computazionalmente efficienti ma sostanzialmente vantaggiosi; (2) la modellazione nello spazio latente di autoencoder pre-addestrati, che si dimostra più efficace rispetto alla modellazione diretta a livello di pixel; e (3) un nuovo algoritmo di guida che migliora significativamente la qualità dei campioni. Fondamentalmente, il nostro modello rimane un flusso normalizzante end-to-end, consentendo un addestramento esatto a massima verosimiglianza in spazi continui senza discretizzazione. STARFlow raggiunge prestazioni competitive sia nei compiti di generazione di immagini condizionate alla classe che a testo, avvicinandosi ai modelli di diffusione all'avanguardia nella qualità dei campioni. A nostra conoscenza, questo lavoro rappresenta la prima dimostrazione riuscita di flussi normalizzanti che operano efficacemente a questa scala e risoluzione.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.