STARFlow: Escalonando Fluxos Normalizadores Latentes para Síntese de Imagens de Alta Resolução

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

June 6, 2025

Autores: Jiatao Gu, Tianrong Chen, David Berthelot, Huangjie Zheng, Yuyang Wang, Ruixiang Zhang, Laurent Dinh, Miguel Angel Bautista, Josh Susskind, Shuangfei Zhai

cs.AI

Resumo

Apresentamos o STARFlow, um modelo generativo escalável baseado em fluxos normalizadores que alcança um desempenho robusto na síntese de imagens de alta resolução. O núcleo do STARFlow é o Fluxo Autoregressivo com Transformers (TARFlow), que combina o poder expressivo dos fluxos normalizadores com as capacidades de modelagem estruturada dos Transformers Autoregressivos. Primeiro, estabelecemos a universalidade teórica do TARFlow para modelar distribuições contínuas. Com base nesse fundamento, introduzimos várias inovações arquitetônicas e algorítmicas chave para aprimorar significativamente a escalabilidade: (1) um design profundo-raso, no qual um bloco Transformer profundo captura a maior parte da capacidade representacional do modelo, complementado por alguns blocos Transformer rasos que são computacionalmente eficientes, mas substancialmente benéficos; (2) modelagem no espaço latente de autoencoders pré-treinados, que se mostra mais eficaz do que a modelagem direta no nível de pixels; e (3) um algoritmo de orientação inovador que melhora significativamente a qualidade das amostras. Crucialmente, nosso modelo permanece um fluxo normalizador de ponta a ponta, permitindo o treinamento exato de máxima verossimilhança em espaços contínuos sem discretização. O STARFlow alcança desempenho competitivo tanto em tarefas de geração de imagens condicionadas por classe quanto por texto, aproximando-se da qualidade de amostras dos modelos de difusão state-of-the-art. Até onde sabemos, este trabalho é a primeira demonstração bem-sucedida de fluxos normalizadores operando efetivamente nessa escala e resolução.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.