O Scale-Wise VAR é Secretamente uma Difusão Discreta

Scale-Wise VAR is Secretly Discrete Diffusion

September 26, 2025

Autores: Amandeep Kumar, Nithin Gopalakrishnan Nair, Vishal M. Patel

cs.AI

Resumo

Transformadores autoregressivos (AR) surgiram como um paradigma poderoso para geração visual, em grande parte devido à sua escalabilidade, eficiência computacional e arquitetura unificada para linguagem e visão. Entre eles, a Geração Visual Autoregressiva de Predição de Próxima Escala (VAR) demonstrou recentemente um desempenho notável, superando até mesmo modelos baseados em difusão. Neste trabalho, revisitamos o VAR e revelamos uma percepção teórica: quando equipado com uma máscara de atenção markoviana, o VAR é matematicamente equivalente a uma difusão discreta. Denominamos essa reinterpretação como Refinamento Visual Escalável com Difusão Discreta (SRDD), estabelecendo uma ponte fundamentada entre transformadores AR e modelos de difusão. Aproveitando essa nova perspectiva, mostramos como é possível importar diretamente as vantagens da difusão, como refinamento iterativo, e reduzir ineficiências arquitetônicas no VAR, resultando em convergência mais rápida, custo de inferência reduzido e reconstrução zero-shot aprimorada. Em diversos conjuntos de dados, demonstramos que a perspectiva baseada em difusão do VAR leva a ganhos consistentes em eficiência e geração.

English

Autoregressive (AR) transformers have emerged as a powerful paradigm for visual generation, largely due to their scalability, computational efficiency and unified architecture with language and vision. Among them, next scale prediction Visual Autoregressive Generation (VAR) has recently demonstrated remarkable performance, even surpassing diffusion-based models. In this work, we revisit VAR and uncover a theoretical insight: when equipped with a Markovian attention mask, VAR is mathematically equivalent to a discrete diffusion. We term this reinterpretation as Scalable Visual Refinement with Discrete Diffusion (SRDD), establishing a principled bridge between AR transformers and diffusion models. Leveraging this new perspective, we show how one can directly import the advantages of diffusion such as iterative refinement and reduce architectural inefficiencies into VAR, yielding faster convergence, lower inference cost, and improved zero-shot reconstruction. Across multiple datasets, we show that the diffusion based perspective of VAR leads to consistent gains in efficiency and generation.