STARFlow: Escalando Flujos Normalizadores Latentes para la Síntesis de Imágenes de Alta Resolución

Resumen

Presentamos STARFlow, un modelo generativo escalable basado en flujos normalizantes que logra un rendimiento sólido en la síntesis de imágenes de alta resolución. El núcleo de STARFlow es el Flujo Autoregresivo Transformer (TARFlow), que combina el poder expresivo de los flujos normalizantes con las capacidades de modelado estructurado de los Transformers Autoregresivos. Primero establecemos la universalidad teórica de TARFlow para modelar distribuciones continuas. Sobre esta base, introducimos varias innovaciones clave en la arquitectura y los algoritmos para mejorar significativamente la escalabilidad: (1) un diseño profundo-superficial, en el que un bloque Transformer profundo captura la mayor parte de la capacidad representativa del modelo, complementado por unos pocos bloques Transformer superficiales que son computacionalmente eficientes pero sustancialmente beneficiosos; (2) modelado en el espacio latente de autoencoders preentrenados, que resulta más efectivo que el modelado directo a nivel de píxeles; y (3) un algoritmo de guía novedoso que mejora significativamente la calidad de las muestras. Es crucial destacar que nuestro modelo sigue siendo un flujo normalizante de extremo a extremo, lo que permite un entrenamiento de máxima verosimilitud exacta en espacios continuos sin discretización. STARFlow logra un rendimiento competitivo tanto en tareas de generación de imágenes condicionadas por clase como por texto, acercándose a los modelos de difusión de última generación en calidad de muestras. Hasta donde sabemos, este trabajo es la primera demostración exitosa de flujos normalizantes que operan efectivamente a esta escala y resolución.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.

STARFlow: Escalando Flujos Normalizadores Latentes para la Síntesis de Imágenes de Alta Resolución

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

Resumen

Support