Visuelle autoregressive Modellierung: Skalierbare Bildgenerierung durch Vorhersage auf der nächsten Skalenebene

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

April 3, 2024

Autoren: Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng, Liwei Wang

cs.AI

Zusammenfassung

Wir präsentieren das Visual AutoRegressive Modeling (VAR), ein neues Paradigma der nächsten Generation, das das autoregressive Lernen von Bildern als grob-zu-fein "Vorhersage der nächsten Skala" oder "Vorhersage der nächsten Auflösung" neu definiert und sich von der Standard-Raster-Scan "Vorhersage des nächsten Tokens" abhebt. Diese einfache, intuitive Methodik ermöglicht es autoregressiven (AR) Transformern, visuelle Verteilungen schnell zu erlernen und gut zu generalisieren: VAR übertrifft erstmals Diffusionstransformatoren in der Bildgenerierung. Auf dem ImageNet 256x256 Benchmark verbessert VAR die AR-Basislinie signifikant, indem der Frechet-Inception-Abstand (FID) von 18,65 auf 1,80 und der Inception-Score (IS) von 80,4 auf 356,4 verbessert werden, bei etwa 20-fach schnellerer Inferenzgeschwindigkeit. Es wurde auch empirisch nachgewiesen, dass VAR den Diffusionstransformator (DiT) in mehreren Dimensionen einschließlich Bildqualität, Inferenzgeschwindigkeit, Daten-Effizienz und Skalierbarkeit übertrifft. Das Skalieren von VAR-Modellen zeigt klare Potenzgesetze, die denen ähneln, die bei LLMs beobachtet wurden, mit linearen Korrelationskoeffizienten nahe -0,998 als solider Beweis. VAR präsentiert außerdem die Fähigkeit zur Null-Schuss-Verallgemeinerung in nachgelagerten Aufgaben, einschließlich Bild-Inpainting, Out-Painting und Bearbeitung. Diese Ergebnisse legen nahe, dass VAR die beiden wichtigen Eigenschaften von LLMs zunächst nachgeahmt hat: Potenzgesetze und Null-Schuss-Aufgabenverallgemeinerung. Wir haben alle Modelle und Codes veröffentlicht, um die Erkundung von AR/VAR-Modellen für die visuelle Generierung und das vereinheitlichte Lernen zu fördern.

English

We present Visual AutoRegressive modeling (VAR), a new generation paradigm that redefines the autoregressive learning on images as coarse-to-fine "next-scale prediction" or "next-resolution prediction", diverging from the standard raster-scan "next-token prediction". This simple, intuitive methodology allows autoregressive (AR) transformers to learn visual distributions fast and generalize well: VAR, for the first time, makes AR models surpass diffusion transformers in image generation. On ImageNet 256x256 benchmark, VAR significantly improve AR baseline by improving Frechet inception distance (FID) from 18.65 to 1.80, inception score (IS) from 80.4 to 356.4, with around 20x faster inference speed. It is also empirically verified that VAR outperforms the Diffusion Transformer (DiT) in multiple dimensions including image quality, inference speed, data efficiency, and scalability. Scaling up VAR models exhibits clear power-law scaling laws similar to those observed in LLMs, with linear correlation coefficients near -0.998 as solid evidence. VAR further showcases zero-shot generalization ability in downstream tasks including image in-painting, out-painting, and editing. These results suggest VAR has initially emulated the two important properties of LLMs: Scaling Laws and zero-shot task generalization. We have released all models and codes to promote the exploration of AR/VAR models for visual generation and unified learning.