Autoregressief Model Verslaat Diffusie: Llama voor Schaalbare Beeldgeneratie

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

June 10, 2024

Auteurs: Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan

cs.AI

Samenvatting

We introduceren LlamaGen, een nieuwe familie van beeldgeneratiemodellen die het originele "next-token prediction"-paradigma van grote taalmodellen toepassen op het domein van visuele generatie. Het is een bevestigend antwoord op de vraag of standaard autoregressieve modellen, zoals Llama, zonder inductieve vooroordelen op visuele signalen, state-of-the-art prestaties kunnen bereiken in beeldgeneratie als ze op de juiste manier worden geschaald. We onderzoeken opnieuw de ontwerpruimtes van beeldtokenizers, de schaalbaarheidseigenschappen van beeldgeneratiemodellen en de kwaliteit van hun trainingsdata. Het resultaat van deze verkenning bestaat uit: (1) Een beeldtokenizer met een downsample-ratio van 16, een reconstructiekwaliteit van 0,94 rFID en een codebookgebruik van 97% op de ImageNet-benchmark. (2) Een reeks klasse-conditionele beeldgeneratiemodellen variërend van 111M tot 3,1B parameters, die een FID van 2,18 behalen op de ImageNet 256x256-benchmarks, wat beter is dan populaire diffusiemodellen zoals LDM en DiT. (3) Een tekst-conditioneel beeldgeneratiemodel met 775M parameters, getraind in twee fasen op LAION-COCO en afbeeldingen van hoge esthetische kwaliteit, dat competitieve prestaties laat zien op het gebied van visuele kwaliteit en tekstuitlijning. (4) We verifiëren de effectiviteit van LLM-servingframeworks bij het optimaliseren van de inferentiesnelheid van beeldgeneratiemodellen en behalen een versnelling van 326% tot 414%. We geven alle modellen en codes vrij om de open-sourcegemeenschap van visuele generatie en multimodale foundationmodellen te faciliteren.

English

We introduce LlamaGen, a new family of image generation models that apply original ``next-token prediction'' paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256x256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% - 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.