D-AR: Difusão via Modelos Autorregressivos

D-AR: Diffusion via Autoregressive Models

May 29, 2025

Autores: Ziteng Gao, Mike Zheng Shou

cs.AI

Resumo

Este artigo apresenta o Diffusion via Autoregressive models (D-AR), um novo paradigma que reformula o processo de difusão de imagens como um procedimento autoregressivo padrão, seguindo a abordagem convencional de previsão do próximo token. Começamos projetando o tokenizer que converte imagens em sequências de tokens discretos, onde tokens em diferentes posições podem ser decodificados em diferentes etapas de remoção de ruído da difusão no espaço de pixels. Graças às propriedades da difusão, esses tokens seguem naturalmente uma ordem de grosseiro para refinado, o que se adapta diretamente à modelagem autoregressiva. Portanto, aplicamos a previsão padrão do próximo token sobre esses tokens, sem modificar nenhum dos projetos subjacentes (sejam máscaras causais ou estratégias de treinamento/inferência), e essa geração sequencial de tokens autoregressivos reflete diretamente o procedimento de difusão no espaço de imagens. Ou seja, uma vez que o modelo autoregressivo gera um incremento de tokens, podemos decodificar diretamente esses tokens na etapa correspondente de remoção de ruído da difusão de maneira contínua. Nossa pipeline revela naturalmente várias propriedades intrigantes, por exemplo, ela suporta visualizações consistentes ao gerar apenas um subconjunto de tokens e permite síntese controlada por layout zero-shot. No benchmark padrão do ImageNet, nosso método alcança 2.09 FID usando um backbone Llama de 775M com 256 tokens discretos. Esperamos que nosso trabalho possa inspirar pesquisas futuras sobre arquiteturas autoregressivas unificadas para síntese visual, especialmente com grandes modelos de linguagem. Código e modelos estarão disponíveis em https://github.com/showlab/D-AR.

English

This paper presents Diffusion via Autoregressive models (D-AR), a new paradigm recasting the image diffusion process as a vanilla autoregressive procedure in the standard next-token-prediction fashion. We start by designing the tokenizer that converts images into sequences of discrete tokens, where tokens in different positions can be decoded into different diffusion denoising steps in the pixel space. Thanks to the diffusion properties, these tokens naturally follow a coarse-to-fine order, which directly lends itself to autoregressive modeling. Therefore, we apply standard next-token prediction on these tokens, without modifying any underlying designs (either causal masks or training/inference strategies), and such sequential autoregressive token generation directly mirrors the diffusion procedure in image space. That is, once the autoregressive model generates an increment of tokens, we can directly decode these tokens into the corresponding diffusion denoising step in the streaming manner. Our pipeline naturally reveals several intriguing properties, for example, it supports consistent previews when generating only a subset of tokens and enables zero-shot layout-controlled synthesis. On the standard ImageNet benchmark, our method achieves 2.09 FID using a 775M Llama backbone with 256 discrete tokens. We hope our work can inspire future research on unified autoregressive architectures of visual synthesis, especially with large language models. Code and models will be available at https://github.com/showlab/D-AR