Le VAR à échelle est secrètement une diffusion discrète.

Scale-Wise VAR is Secretly Discrete Diffusion

September 26, 2025

papers.authors: Amandeep Kumar, Nithin Gopalakrishnan Nair, Vishal M. Patel

cs.AI

papers.abstract

Les transformateurs autorégressifs (AR) sont apparus comme un paradigme puissant pour la génération visuelle, principalement en raison de leur évolutivité, de leur efficacité computationnelle et de leur architecture unifiée pour le langage et la vision. Parmi eux, la prédiction à l'échelle suivante dans la génération visuelle autorégressive (VAR) a récemment démontré des performances remarquables, surpassant même les modèles basés sur la diffusion. Dans ce travail, nous revisitons VAR et mettons en lumière une intuition théorique : lorsqu'il est équipé d'un masque d'attention markovien, VAR est mathématiquement équivalent à une diffusion discrète. Nous nommons cette réinterprétation « Raffinement Visuel Évolutif avec Diffusion Discrète » (SRDD), établissant ainsi un pont théorique entre les transformateurs AR et les modèles de diffusion. En exploitant cette nouvelle perspective, nous montrons comment il est possible d'importer directement les avantages de la diffusion, tels que le raffinement itératif, et de réduire les inefficacités architecturales dans VAR, conduisant à une convergence plus rapide, un coût d'inférence réduit et une reconstruction zéro-shot améliorée. Sur plusieurs jeux de données, nous démontrons que la perspective basée sur la diffusion de VAR entraîne des gains constants en efficacité et en génération.

English

Autoregressive (AR) transformers have emerged as a powerful paradigm for visual generation, largely due to their scalability, computational efficiency and unified architecture with language and vision. Among them, next scale prediction Visual Autoregressive Generation (VAR) has recently demonstrated remarkable performance, even surpassing diffusion-based models. In this work, we revisit VAR and uncover a theoretical insight: when equipped with a Markovian attention mask, VAR is mathematically equivalent to a discrete diffusion. We term this reinterpretation as Scalable Visual Refinement with Discrete Diffusion (SRDD), establishing a principled bridge between AR transformers and diffusion models. Leveraging this new perspective, we show how one can directly import the advantages of diffusion such as iterative refinement and reduce architectural inefficiencies into VAR, yielding faster convergence, lower inference cost, and improved zero-shot reconstruction. Across multiple datasets, we show that the diffusion based perspective of VAR leads to consistent gains in efficiency and generation.