D-AR: Diffusie via Autoregressieve Modellen

D-AR: Diffusion via Autoregressive Models

May 29, 2025

Auteurs: Ziteng Gao, Mike Zheng Shou

cs.AI

Samenvatting

Dit artikel presenteert Diffusion via Autoregressive models (D-AR), een nieuw paradigma dat het beelddiffusieproces herformuleert als een standaard autoregressieve procedure in de gebruikelijke next-token-predictie-stijl. We beginnen met het ontwerpen van de tokenizer die afbeeldingen omzet in sequenties van discrete tokens, waarbij tokens op verschillende posities kunnen worden gedecodeerd naar verschillende diffusie-denoising-stappen in de pixelruimte. Dankzij de eigenschappen van diffusie volgen deze tokens van nature een grof-naar-fijn volgorde, wat zich direct leent voor autoregressieve modellering. Daarom passen we standaard next-token-predictie toe op deze tokens, zonder enige onderliggende ontwerpen te wijzigen (zoals causale masks of trainings-/inferentiestrategieën), en zo'n sequentiële autoregressieve token-generatie weerspiegelt direct het diffusieproces in de beeldruimte. Dat wil zeggen, zodra het autoregressieve model een toename van tokens genereert, kunnen we deze tokens direct decoderen naar de corresponderende diffusie-denoising-stap op een streaming-manier. Onze pijplijn onthult van nature verschillende intrigerende eigenschappen, bijvoorbeeld ondersteunt het consistente voorbeelden bij het genereren van slechts een subset van tokens en maakt het zero-shot layout-gestuurde synthese mogelijk. Op de standaard ImageNet-benchmark behaalt onze methode een FID van 2,09 met een 775M Llama-backbone en 256 discrete tokens. We hopen dat ons werk toekomstig onderzoek kan inspireren naar geünificeerde autoregressieve architecturen voor visuele synthese, vooral met grote taalmodelmodellen. Code en modellen zullen beschikbaar zijn op https://github.com/showlab/D-AR.

English

This paper presents Diffusion via Autoregressive models (D-AR), a new paradigm recasting the image diffusion process as a vanilla autoregressive procedure in the standard next-token-prediction fashion. We start by designing the tokenizer that converts images into sequences of discrete tokens, where tokens in different positions can be decoded into different diffusion denoising steps in the pixel space. Thanks to the diffusion properties, these tokens naturally follow a coarse-to-fine order, which directly lends itself to autoregressive modeling. Therefore, we apply standard next-token prediction on these tokens, without modifying any underlying designs (either causal masks or training/inference strategies), and such sequential autoregressive token generation directly mirrors the diffusion procedure in image space. That is, once the autoregressive model generates an increment of tokens, we can directly decode these tokens into the corresponding diffusion denoising step in the streaming manner. Our pipeline naturally reveals several intriguing properties, for example, it supports consistent previews when generating only a subset of tokens and enables zero-shot layout-controlled synthesis. On the standard ImageNet benchmark, our method achieves 2.09 FID using a 775M Llama backbone with 256 discrete tokens. We hope our work can inspire future research on unified autoregressive architectures of visual synthesis, especially with large language models. Code and models will be available at https://github.com/showlab/D-AR