D-AR: Диффузия через авторегрессионные модели

D-AR: Diffusion via Autoregressive Models

May 29, 2025

Авторы: Ziteng Gao, Mike Zheng Shou

cs.AI

Аннотация

В данной статье представлен метод Diffusion via Autoregressive models (D-AR), новый подход, который переосмысливает процесс диффузии изображений как стандартную авторегрессионную процедуру в формате предсказания следующего токена. Мы начинаем с разработки токенизатора, преобразующего изображения в последовательности дискретных токенов, где токены на разных позициях могут быть декодированы в различные шаги удаления шума в пространстве пикселей. Благодаря свойствам диффузии, эти токены естественным образом следуют порядку от грубого к детальному, что напрямую подходит для авторегрессионного моделирования. Таким образом, мы применяем стандартное предсказание следующего токена для этих токенов, не изменяя базовых принципов (ни масок причинности, ни стратегий обучения/вывода), и такая последовательная генерация токенов напрямую отражает процесс диффузии в пространстве изображений. То есть, как только авторегрессионная модель генерирует очередную порцию токенов, мы можем напрямую декодировать их в соответствующий шаг удаления шума в потоковом режиме. Наш подход естественным образом раскрывает несколько интересных свойств, например, поддерживает согласованные предварительные просмотры при генерации только части токенов и позволяет выполнять синтез с управлением композицией без дополнительного обучения. На стандартном бенчмарке ImageNet наш метод достигает показателя FID 2.09, используя модель Llama с 775 миллионами параметров и 256 дискретными токенами. Мы надеемся, что наша работа вдохновит будущие исследования на создание унифицированных авторегрессионных архитектур для визуального синтеза, особенно с использованием крупных языковых моделей. Код и модели будут доступны по адресу https://github.com/showlab/D-AR.

English

This paper presents Diffusion via Autoregressive models (D-AR), a new paradigm recasting the image diffusion process as a vanilla autoregressive procedure in the standard next-token-prediction fashion. We start by designing the tokenizer that converts images into sequences of discrete tokens, where tokens in different positions can be decoded into different diffusion denoising steps in the pixel space. Thanks to the diffusion properties, these tokens naturally follow a coarse-to-fine order, which directly lends itself to autoregressive modeling. Therefore, we apply standard next-token prediction on these tokens, without modifying any underlying designs (either causal masks or training/inference strategies), and such sequential autoregressive token generation directly mirrors the diffusion procedure in image space. That is, once the autoregressive model generates an increment of tokens, we can directly decode these tokens into the corresponding diffusion denoising step in the streaming manner. Our pipeline naturally reveals several intriguing properties, for example, it supports consistent previews when generating only a subset of tokens and enables zero-shot layout-controlled synthesis. On the standard ImageNet benchmark, our method achieves 2.09 FID using a 775M Llama backbone with 256 discrete tokens. We hope our work can inspire future research on unified autoregressive architectures of visual synthesis, especially with large language models. Code and models will be available at https://github.com/showlab/D-AR