Scale-Wise VAR è Segretamente una Diffusione Discreta

Scale-Wise VAR is Secretly Discrete Diffusion

September 26, 2025

Autori: Amandeep Kumar, Nithin Gopalakrishnan Nair, Vishal M. Patel

cs.AI

Abstract

I trasformatori autoregressivi (AR) sono emersi come un paradigma potente per la generazione visiva, principalmente grazie alla loro scalabilità, efficienza computazionale e architettura unificata per linguaggio e visione. Tra questi, la generazione visiva autoregressiva basata sulla previsione della scala successiva (VAR) ha recentemente dimostrato prestazioni notevoli, superando persino i modelli basati sulla diffusione. In questo lavoro, esaminiamo nuovamente VAR e scopriamo un'idea teorica: quando equipaggiato con una maschera di attenzione markoviana, VAR è matematicamente equivalente a una diffusione discreta. Definiamo questa reinterpretazione come Raffinamento Visivo Scalabile con Diffusione Discreta (SRDD), stabilendo un ponte teorico tra i trasformatori AR e i modelli di diffusione. Sfruttando questa nuova prospettiva, mostriamo come sia possibile importare direttamente i vantaggi della diffusione, come il raffinamento iterativo, e ridurre le inefficienze architetturali in VAR, ottenendo una convergenza più rapida, un costo inferiore di inferenza e una ricostruzione zero-shot migliorata. Su più dataset, dimostriamo che la prospettiva basata sulla diffusione di VAR porta a guadagni consistenti in termini di efficienza e generazione.

English

Autoregressive (AR) transformers have emerged as a powerful paradigm for visual generation, largely due to their scalability, computational efficiency and unified architecture with language and vision. Among them, next scale prediction Visual Autoregressive Generation (VAR) has recently demonstrated remarkable performance, even surpassing diffusion-based models. In this work, we revisit VAR and uncover a theoretical insight: when equipped with a Markovian attention mask, VAR is mathematically equivalent to a discrete diffusion. We term this reinterpretation as Scalable Visual Refinement with Discrete Diffusion (SRDD), establishing a principled bridge between AR transformers and diffusion models. Leveraging this new perspective, we show how one can directly import the advantages of diffusion such as iterative refinement and reduce architectural inefficiencies into VAR, yielding faster convergence, lower inference cost, and improved zero-shot reconstruction. Across multiple datasets, we show that the diffusion based perspective of VAR leads to consistent gains in efficiency and generation.