Matrimonio del Transformador Autoregresivo y la Difusión con Autoregresión Multirreferencia

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

Autores: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

Resumen

Presentamos TransDiff, el primer modelo de generación de imágenes que combina un Transformer Autoregresivo (AR) con modelos de difusión. En este marco de modelado conjunto, TransDiff codifica etiquetas e imágenes en características semánticas de alto nivel y emplea un modelo de difusión para estimar la distribución de muestras de imágenes. En el benchmark de ImageNet 256x256, TransDiff supera significativamente a otros modelos de generación de imágenes basados en Transformer AR o modelos de difusión de manera independiente. Específicamente, TransDiff logra una Distancia de Fréchet Inception (FID) de 1.61 y un Puntaje Inception (IS) de 293.4, además de ofrecer una latencia de inferencia x2 más rápida en comparación con los métodos más avanzados basados en Transformer AR y x112 más rápida en comparación con modelos exclusivamente de difusión. Además, basándonos en el modelo TransDiff, introducimos un nuevo paradigma de generación de imágenes llamado Autoregresión Multi-Referencia (MRAR), que realiza generación autoregresiva prediciendo la siguiente imagen. MRAR permite al modelo referenciar múltiples imágenes generadas previamente, facilitando así el aprendizaje de representaciones más diversas y mejorando la calidad de las imágenes generadas en iteraciones posteriores. Al aplicar MRAR, el rendimiento de TransDiff mejora, reduciendo el FID de 1.61 a 1.42. Esperamos que TransDiff abra una nueva frontera en el campo de la generación de imágenes.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.