D-AR : Diffusion via Modèles Autoregressifs

D-AR: Diffusion via Autoregressive Models

May 29, 2025

Auteurs: Ziteng Gao, Mike Zheng Shou

cs.AI

Résumé

Cet article présente Diffusion via Modèles Autoregressifs (D-AR), un nouveau paradigme qui reformule le processus de diffusion d'images comme une procédure autoregressive classique, suivant la méthode standard de prédiction du token suivant. Nous commençons par concevoir le tokenizer qui convertit les images en séquences de tokens discrets, où les tokens à différentes positions peuvent être décodés en différentes étapes de débruitage de la diffusion dans l'espace des pixels. Grâce aux propriétés de la diffusion, ces tokens suivent naturellement un ordre allant du grossier au fin, ce qui se prête directement à la modélisation autoregressive. Par conséquent, nous appliquons la prédiction standard du token suivant sur ces tokens, sans modifier aucun des designs sous-jacents (que ce soit les masques causaux ou les stratégies d'entraînement/d'inférence), et cette génération séquentielle de tokens autoregressifs reflète directement la procédure de diffusion dans l'espace des images. Autrement dit, une fois que le modèle autoregressif génère un incrément de tokens, nous pouvons directement décoder ces tokens en l'étape correspondante de débruitage de la diffusion de manière continue. Notre pipeline révèle naturellement plusieurs propriétés intrigantes, par exemple, il permet des prévisualisations cohérentes lors de la génération d'un sous-ensemble de tokens et permet une synthèse contrôlée par la mise en page en zero-shot. Sur le benchmark standard d'ImageNet, notre méthode atteint un FID de 2,09 en utilisant un backbone Llama de 775M avec 256 tokens discrets. Nous espérons que notre travail pourra inspirer de futures recherches sur les architectures autoregressives unifiées pour la synthèse visuelle, en particulier avec les grands modèles de langage. Le code et les modèles seront disponibles à l'adresse suivante : https://github.com/showlab/D-AR.

English

This paper presents Diffusion via Autoregressive models (D-AR), a new paradigm recasting the image diffusion process as a vanilla autoregressive procedure in the standard next-token-prediction fashion. We start by designing the tokenizer that converts images into sequences of discrete tokens, where tokens in different positions can be decoded into different diffusion denoising steps in the pixel space. Thanks to the diffusion properties, these tokens naturally follow a coarse-to-fine order, which directly lends itself to autoregressive modeling. Therefore, we apply standard next-token prediction on these tokens, without modifying any underlying designs (either causal masks or training/inference strategies), and such sequential autoregressive token generation directly mirrors the diffusion procedure in image space. That is, once the autoregressive model generates an increment of tokens, we can directly decode these tokens into the corresponding diffusion denoising step in the streaming manner. Our pipeline naturally reveals several intriguing properties, for example, it supports consistent previews when generating only a subset of tokens and enables zero-shot layout-controlled synthesis. On the standard ImageNet benchmark, our method achieves 2.09 FID using a 775M Llama backbone with 256 discrete tokens. We hope our work can inspire future research on unified autoregressive architectures of visual synthesis, especially with large language models. Code and models will be available at https://github.com/showlab/D-AR