Autoregressives Modell schlägt Diffusion: Llama für skalierbare Bildgenerierung

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

June 10, 2024

Autoren: Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan

cs.AI

Zusammenfassung

Wir stellen LlamaGen vor, eine neue Familie von Bildgenerierungsmodellen, die das originale „next-token prediction“-Paradigma großer Sprachmodelle auf den visuellen Generierungsbereich anwenden. Es ist eine bejahende Antwort darauf, ob einfache autoregressive Modelle, z. B. Llama, ohne induktive Voreingenommenheiten gegenüber visuellen Signalen Spitzenleistungen bei der Bildgenerierung erzielen können, wenn sie ordnungsgemäß skaliert werden. Wir überprüfen erneut die Designräume von Bild-Tokenizern, die Skalierungseigenschaften von Bildgenerierungsmodellen und die Qualität ihrer Trainingsdaten. Das Ergebnis dieser Untersuchung besteht aus: (1) Einem Bild-Tokenizer mit einer Downsample-Rate von 16, einer Rekonstruktionsqualität von 0,94 rFID und einer Codebuchnutzung von 97% im ImageNet-Benchmark. (2) Eine Reihe von klassenkonditionalen Bildgenerierungsmodellen mit 111M bis 3,1B Parametern, die auf ImageNet 256x256-Benchmarks 2,18 FID erreichen und die beliebten Diffusionsmodelle wie LDM, DiT übertreffen. (3) Ein textkonditionales Bildgenerierungsmodell mit 775M Parametern, das durch zweistufiges Training an LAION-COCO und hochästhetischen Bildern die Wettbewerbsfähigkeit bei visueller Qualität und Textausrichtung demonstriert. (4) Wir bestätigen die Wirksamkeit von LLM-Service-Frameworks bei der Optimierung der Inferenzgeschwindigkeit von Bildgenerierungsmodellen und erzielen eine Beschleunigung von 326% - 414%. Wir veröffentlichen alle Modelle und Codes, um die Open-Source-Community der visuellen Generierung und multimodalen Grundlagenmodelle zu unterstützen.

English

We introduce LlamaGen, a new family of image generation models that apply original ``next-token prediction'' paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256x256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% - 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.