Matrimonio tra Trasformatore Autoregressivo e Diffusione con Autoregressione Multi-Riferimento

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

Autori: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

Abstract

Presentiamo TransDiff, il primo modello di generazione di immagini che unisce il Transformer Autoregressivo (AR) con i modelli di diffusione. In questo framework di modellazione congiunta, TransDiff codifica etichette e immagini in caratteristiche semantiche di alto livello e utilizza un modello di diffusione per stimare la distribuzione dei campioni di immagini. Sul benchmark ImageNet 256x256, TransDiff supera significativamente altri modelli di generazione di immagini basati esclusivamente su Transformer AR o modelli di diffusione. Nello specifico, TransDiff raggiunge un Fréchet Inception Distance (FID) di 1.61 e un Inception Score (IS) di 293.4, offrendo inoltre una latenza di inferenza x2 più veloce rispetto ai metodi all'avanguardia basati su Transformer AR e x112 più veloce rispetto ai modelli basati esclusivamente su diffusione. Inoltre, basandoci sul modello TransDiff, introduciamo un nuovo paradigma di generazione di immagini chiamato Autoregressione Multi-Riferimento (MRAR), che esegue la generazione autoregressiva prevedendo l'immagine successiva. MRAR consente al modello di fare riferimento a più immagini generate in precedenza, facilitando così l'apprendimento di rappresentazioni più diversificate e migliorando la qualità delle immagini generate nelle iterazioni successive. Applicando MRAR, le prestazioni di TransDiff migliorano, con il FID che si riduce da 1.61 a 1.42. Ci aspettiamo che TransDiff apra una nuova frontiera nel campo della generazione di immagini.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.