Le Modèle Autoregressif Surpasse la Diffusion : Llama pour la Génération d'Images à Grande Échelle

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

June 10, 2024

Auteurs: Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan

cs.AI

Résumé

Nous présentons LlamaGen, une nouvelle famille de modèles de génération d'images qui applique le paradigme original de « prédiction du token suivant » des grands modèles de langage au domaine de la génération visuelle. Il s'agit d'une réponse affirmative à la question de savoir si des modèles autorégressifs classiques, comme Llama, sans biais inductifs sur les signaux visuels, peuvent atteindre des performances de pointe en génération d'images s'ils sont correctement mis à l'échelle. Nous réexaminons les espaces de conception des tokenizers d'images, les propriétés de scalabilité des modèles de génération d'images, ainsi que la qualité de leurs données d'entraînement. Les résultats de cette exploration incluent : (1) Un tokenizer d'images avec un ratio de sous-échantillonnage de 16, une qualité de reconstruction de 0,94 rFID et une utilisation du codebook de 97 % sur le benchmark ImageNet. (2) Une série de modèles de génération d'images conditionnés par classe, allant de 111M à 3,1B de paramètres, atteignant un FID de 2,18 sur les benchmarks ImageNet 256x256, surpassant les modèles de diffusion populaires tels que LDM et DiT. (3) Un modèle de génération d'images conditionné par texte avec 775M de paramètres, issu d'un entraînement en deux étapes sur LAION-COCO et des images de haute qualité esthétique, démontrant des performances compétitives en termes de qualité visuelle et d'alignement textuel. (4) Nous vérifions l'efficacité des frameworks de service LLM pour optimiser la vitesse d'inférence des modèles de génération d'images et obtenons une accélération de 326 % à 414 %. Nous publions tous les modèles et codes pour faciliter la communauté open-source de la génération visuelle et des modèles fondation multimodaux.

English

We introduce LlamaGen, a new family of image generation models that apply original ``next-token prediction'' paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256x256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% - 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.