STARFlow: Schaalvergroting van Latente Normaliserende Stromingen voor Hoge-resolutie Beeldsynthese

Samenvatting

We presenteren STARFlow, een schaalbare generatieve model gebaseerd op normaliserende stromen dat sterke prestaties behaalt in de synthese van hoogresolutiebeelden. De kern van STARFlow is Transformer Autoregressive Flow (TARFlow), dat de expressieve kracht van normaliserende stromen combineert met de gestructureerde modelleringscapaciteiten van Autoregressive Transformers. We beginnen met het vaststellen van de theoretische universaliteit van TARFlow voor het modelleren van continue verdelingen. Op basis van deze fundering introduceren we verschillende belangrijke architectonische en algoritmische innovaties om de schaalbaarheid aanzienlijk te verbeteren: (1) een diep-ondiep ontwerp, waarbij een diep Transformer-blok het grootste deel van de representatiecapaciteit van het model vastlegt, aangevuld door enkele ondiepe Transformer-blokken die computationeel efficiënt zijn maar toch aanzienlijk voordelig; (2) modellering in de latente ruimte van vooraf getrainde auto-encoders, wat effectiever blijkt dan directe pixelgebaseerde modellering; en (3) een nieuw begeleidingsalgoritme dat de kwaliteit van de gegenereerde monsters aanzienlijk verbetert. Cruciaal is dat ons model een end-to-end normaliserende stroom blijft, waardoor exacte maximum likelihood training in continue ruimten mogelijk is zonder discretisering. STARFlow behaalt competitieve prestaties in zowel klasse-conditionele als tekst-conditionele beeldgeneratietaken, en benadert de kwaliteit van state-of-the-art diffusiemodellen. Voor zover wij weten, is dit werk de eerste succesvolle demonstratie van normaliserende stromen die effectief werken op deze schaal en resolutie.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.

STARFlow: Schaalvergroting van Latente Normaliserende Stromingen voor Hoge-resolutie Beeldsynthese

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

Samenvatting

Support