STARFlow: Skalierung latenter Normalizing Flows für die Synthese hochauflösender Bilder

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

June 6, 2025

Autoren: Jiatao Gu, Tianrong Chen, David Berthelot, Huangjie Zheng, Yuyang Wang, Ruixiang Zhang, Laurent Dinh, Miguel Angel Bautista, Josh Susskind, Shuangfei Zhai

cs.AI

Zusammenfassung

Wir präsentieren STARFlow, ein skalierbares generatives Modell basierend auf Normalizing Flows, das eine starke Leistung in der Synthese hochauflösender Bilder erzielt. Das Kernstück von STARFlow ist der Transformer Autoregressive Flow (TARFlow), der die Ausdruckskraft von Normalizing Flows mit den strukturierten Modellierungsfähigkeiten von Autoregressiven Transformern kombiniert. Zunächst etablieren wir die theoretische Universalität von TARFlow für die Modellierung kontinuierlicher Verteilungen. Auf dieser Grundlage führen wir mehrere wichtige architektonische und algorithmische Innovationen ein, um die Skalierbarkeit erheblich zu verbessern: (1) ein Tief-Flach-Design, bei dem ein tiefer Transformer-Block den Großteil der Modellrepräsentationskapazität erfasst, ergänzt durch einige flache Transformer-Blöcke, die recheneffizient, aber dennoch erheblich vorteilhaft sind; (2) die Modellierung im latenten Raum vortrainierter Autoencoder, die sich als effektiver erweist als die direkte Pixel-Ebene-Modellierung; und (3) einen neuartigen Leitfadenalgorithmus, der die Probenqualität deutlich steigert. Entscheidend ist, dass unser Modell ein end-to-end Normalizing Flow bleibt, was ein exaktes Maximum-Likelihood-Training in kontinuierlichen Räumen ohne Diskretisierung ermöglicht. STARFlow erzielt eine wettbewerbsfähige Leistung sowohl bei klassenbedingten als auch bei textbedingten Bildgenerierungsaufgaben und nähert sich in der Probenqualität den State-of-the-art-Diffusionsmodellen an. Unseres Wissens ist dies die erste erfolgreiche Demonstration von Normalizing Flows, die in diesem Maßstab und dieser Auflösung effektiv arbeiten.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.