Scale-Wise VAR на самом деле является скрытым дискретным диффузионным процессом

Scale-Wise VAR is Secretly Discrete Diffusion

September 26, 2025

Авторы: Amandeep Kumar, Nithin Gopalakrishnan Nair, Vishal M. Patel

cs.AI

Аннотация

Авторегрессивные (AR) трансформеры стали мощной парадигмой для визуальной генерации, во многом благодаря своей масштабируемости, вычислительной эффективности и унифицированной архитектуре, объединяющей язык и зрение. Среди них метод визуальной авторегрессивной генерации (VAR), основанный на предсказании следующего масштаба, недавно продемонстрировал выдающиеся результаты, даже превзойдя модели, основанные на диффузии. В данной работе мы возвращаемся к VAR и раскрываем теоретическое понимание: при использовании марковской маски внимания VAR математически эквивалентен дискретной диффузии. Мы называем эту переинтерпретацию Scalable Visual Refinement with Discrete Diffusion (SRDD), устанавливая принципиальную связь между AR-трансформерами и моделями диффузии. Используя эту новую перспективу, мы показываем, как можно напрямую перенести преимущества диффузии, такие как итеративное уточнение и снижение архитектурной неэффективности, в VAR, что приводит к более быстрой сходимости, снижению затрат на вывод и улучшенной реконструкции в условиях zero-shot. На множестве наборов данных мы демонстрируем, что подход к VAR с точки зрения диффузии обеспечивает стабильные улучшения в эффективности и качестве генерации.

English

Autoregressive (AR) transformers have emerged as a powerful paradigm for visual generation, largely due to their scalability, computational efficiency and unified architecture with language and vision. Among them, next scale prediction Visual Autoregressive Generation (VAR) has recently demonstrated remarkable performance, even surpassing diffusion-based models. In this work, we revisit VAR and uncover a theoretical insight: when equipped with a Markovian attention mask, VAR is mathematically equivalent to a discrete diffusion. We term this reinterpretation as Scalable Visual Refinement with Discrete Diffusion (SRDD), establishing a principled bridge between AR transformers and diffusion models. Leveraging this new perspective, we show how one can directly import the advantages of diffusion such as iterative refinement and reduce architectural inefficiencies into VAR, yielding faster convergence, lower inference cost, and improved zero-shot reconstruction. Across multiple datasets, we show that the diffusion based perspective of VAR leads to consistent gains in efficiency and generation.