Modelo Autoregresivo Supera a Difusión: Llama para la Generación Escalable de Imágenes

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

June 10, 2024

Autores: Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan

cs.AI

Resumen

Presentamos LlamaGen, una nueva familia de modelos de generación de imágenes que aplica el paradigma original de "predicción del siguiente token" de los modelos de lenguaje grandes al dominio de la generación visual. Es una respuesta afirmativa a si los modelos autorregresivos convencionales, como Llama, sin sesgos inductivos sobre señales visuales, pueden alcanzar un rendimiento de vanguardia en generación de imágenes si se escalan adecuadamente. Reexaminamos los espacios de diseño de los tokenizadores de imágenes, las propiedades de escalabilidad de los modelos de generación de imágenes y la calidad de sus datos de entrenamiento. El resultado de esta exploración incluye: (1) Un tokenizador de imágenes con una relación de reducción de 16, una calidad de reconstrucción de 0.94 rFID y un uso del codebook del 97% en el benchmark de ImageNet. (2) Una serie de modelos de generación de imágenes condicionados por clase que van desde 111M hasta 3.1B de parámetros, logrando un FID de 2.18 en los benchmarks de ImageNet 256x256, superando a modelos de difusión populares como LDM y DiT. (3) Un modelo de generación de imágenes condicionado por texto con 775M de parámetros, entrenado en dos etapas con datos de LAION-COCO e imágenes de alta calidad estética, demostrando un rendimiento competitivo en calidad visual y alineación de texto. (4) Verificamos la efectividad de los frameworks de servicio de LLM en la optimización de la velocidad de inferencia de los modelos de generación de imágenes, logrando una aceleración del 326% al 414%. Liberamos todos los modelos y códigos para facilitar a la comunidad de código abierto en generación visual y modelos fundacionales multimodales.

English

We introduce LlamaGen, a new family of image generation models that apply original ``next-token prediction'' paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256x256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% - 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.