D-AR: Diffusion durch autoregressive Modelle

D-AR: Diffusion via Autoregressive Models

May 29, 2025

Autoren: Ziteng Gao, Mike Zheng Shou

cs.AI

Zusammenfassung

Dieses Papier stellt Diffusion via Autoregressive Models (D-AR) vor, ein neues Paradigma, das den Bilddiffusionsprozess als einen einfachen autoregressiven Prozess im Standard-Stil der nächsten Token-Vorhersage umformuliert. Wir beginnen mit der Gestaltung des Tokenizers, der Bilder in Sequenzen diskreter Tokens umwandelt, wobei Tokens an verschiedenen Positionen in unterschiedliche Diffusionsentrauschungsschritte im Pixelraum decodiert werden können. Dank der Diffusionseigenschaften folgen diese Tokens auf natürliche Weise einer grob-zu-fein-Reihenfolge, was sich direkt für die autoregressive Modellierung eignet. Daher wenden wir die Standardmethode der nächsten Token-Vorhersage auf diese Tokens an, ohne die zugrunde liegenden Designs (sei es kausale Masken oder Trainings-/Inferenzstrategien) zu verändern, und eine solche sequenzielle autoregressive Token-Generierung spiegelt direkt den Diffusionsprozess im Bildraum wider. Das bedeutet, sobald das autoregressive Modell eine Zunahme von Tokens generiert, können wir diese Tokens direkt in den entsprechenden Diffusionsentrauschungsschritt in Streaming-Manier decodieren. Unsere Pipeline offenbart auf natürliche Weise mehrere interessante Eigenschaften, zum Beispiel unterstützt sie konsistente Vorschauen, wenn nur eine Teilmenge von Tokens generiert wird, und ermöglicht eine Null-Shot-Layout-gesteuerte Synthese. Beim Standard-ImageNet-Benchmark erreicht unsere Methode einen FID von 2,09 mit einem 775M Llama-Backbone und 256 diskreten Tokens. Wir hoffen, dass unsere Arbeit zukünftige Forschungen zu einheitlichen autoregressiven Architekturen der visuellen Synthese, insbesondere mit großen Sprachmodellen, inspirieren kann. Code und Modelle werden unter https://github.com/showlab/D-AR verfügbar sein.

English

This paper presents Diffusion via Autoregressive models (D-AR), a new paradigm recasting the image diffusion process as a vanilla autoregressive procedure in the standard next-token-prediction fashion. We start by designing the tokenizer that converts images into sequences of discrete tokens, where tokens in different positions can be decoded into different diffusion denoising steps in the pixel space. Thanks to the diffusion properties, these tokens naturally follow a coarse-to-fine order, which directly lends itself to autoregressive modeling. Therefore, we apply standard next-token prediction on these tokens, without modifying any underlying designs (either causal masks or training/inference strategies), and such sequential autoregressive token generation directly mirrors the diffusion procedure in image space. That is, once the autoregressive model generates an increment of tokens, we can directly decode these tokens into the corresponding diffusion denoising step in the streaming manner. Our pipeline naturally reveals several intriguing properties, for example, it supports consistent previews when generating only a subset of tokens and enables zero-shot layout-controlled synthesis. On the standard ImageNet benchmark, our method achieves 2.09 FID using a 775M Llama backbone with 256 discrete tokens. We hope our work can inspire future research on unified autoregressive architectures of visual synthesis, especially with large language models. Code and models will be available at https://github.com/showlab/D-AR