STARFlow: 고해상도 이미지 합성을 위한 잠재 정규화 흐름의 확장

초록

본 논문에서는 고해상도 이미지 합성에서 강력한 성능을 달성하는 정규화 흐름(normalizing flows) 기반의 확장 가능한 생성 모델인 STARFlow를 제안한다. STARFlow의 핵심은 정규화 흐름의 표현력과 자기회귀 트랜스포머(Autoregressive Transformers)의 구조적 모델링 능력을 결합한 트랜스포머 자기회귀 흐름(Transformer Autoregressive Flow, TARFlow)이다. 먼저, TARFlow가 연속 분포를 모델링하는 데 있어 이론적으로 보편적임을 입증한다. 이를 바탕으로, 확장성을 크게 향상시키기 위한 몇 가지 핵심적인 아키텍처 및 알고리즘 혁신을 소개한다: (1) 깊은 트랜스포머 블록이 모델의 대부분의 표현 능력을 포착하고, 계산적으로 효율적이면서도 상당히 유익한 몇 개의 얕은 트랜스포머 블록으로 보완되는 깊이-얕음(deep-shallow) 설계; (2) 사전 훈련된 오토인코더의 잠재 공간에서의 모델링으로, 이는 픽셀 수준의 직접적인 모델링보다 더 효과적임을 입증; (3) 샘플 품질을 크게 향상시키는 새로운 가이던스 알고리즘. 특히, 본 모델은 여전히 종단 간(end-to-end) 정규화 흐름으로, 이산화 없이 연속 공간에서 정확한 최대 가능도(maximum likelihood) 학습이 가능하다. STARFlow는 클래스 조건부 및 텍스트 조건부 이미지 생성 작업에서 경쟁력 있는 성능을 달성하며, 샘플 품질에서 최신 확산 모델(diffusion models)에 근접한다. 우리가 아는 한, 이 연구는 이러한 규모와 해상도에서 효과적으로 작동하는 정규화 흐름의 첫 번째 성공적인 사례이다.

English

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.

STARFlow: 고해상도 이미지 합성을 위한 잠재 정규화 흐름의 확장

STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

초록

Support