Mariage entre Transformateur Autoregressif et Diffusion avec Autoregression Multi-Référence

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

Auteurs: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

Résumé

Nous présentons TransDiff, le premier modèle de génération d'images qui combine un Transformer Autoregressif (AR) avec des modèles de diffusion. Dans ce cadre de modélisation conjointe, TransDiff encode les étiquettes et les images en caractéristiques sémantiques de haut niveau et utilise un modèle de diffusion pour estimer la distribution des échantillons d'images. Sur le benchmark ImageNet 256x256, TransDiff surpasse significativement les autres modèles de génération d'images basés sur un Transformer AR autonome ou des modèles de diffusion. Plus précisément, TransDiff atteint une Distance de Fréchet Inception (FID) de 1,61 et un Score Inception (IS) de 293,4, tout en offrant une latence d'inférence x2 fois plus rapide par rapport aux méthodes de pointe basées sur un Transformer AR et x112 fois plus rapide par rapport aux modèles de diffusion uniquement. De plus, en nous appuyant sur le modèle TransDiff, nous introduisons un nouveau paradigme de génération d'images appelé Autoregression Multi-Référence (MRAR), qui effectue une génération autoregressive en prédisant l'image suivante. MRAR permet au modèle de référencer plusieurs images précédemment générées, facilitant ainsi l'apprentissage de représentations plus diversifiées et améliorant la qualité des images générées dans les itérations suivantes. En appliquant MRAR, les performances de TransDiff sont améliorées, avec une réduction de la FID de 1,61 à 1,42. Nous espérons que TransDiff ouvrira une nouvelle frontière dans le domaine de la génération d'images.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.