Het combineren van autoregressieve transformers en diffusie met multi-referentie autoregressie

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

Auteurs: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

Samenvatting

We introduceren TransDiff, het eerste beeldgeneratiemodel dat Autoregressieve (AR) Transformers combineert met diffusiemodellen. In dit gezamenlijke modelleerkader codeert TransDiff labels en afbeeldingen in hoogwaardige semantische kenmerken en gebruikt het een diffusiemodel om de verdeling van beeldmonsters te schatten. Op de ImageNet 256x256 benchmark presteert TransDiff aanzienlijk beter dan andere beeldgeneratiemodellen die gebaseerd zijn op alleenstaande AR Transformers of diffusiemodellen. Specifiek behaalt TransDiff een Fréchet Inception Distance (FID) van 1.61 en een Inception Score (IS) van 293.4, en biedt het bovendien een x2 snellere inferentielatentie vergeleken met state-of-the-art methoden gebaseerd op AR Transformers en x112 snellere inferentie vergeleken met diffusie-alleen modellen. Verder introduceren we, gebaseerd op het TransDiff-model, een nieuw beeldgeneratieparadigma genaamd Multi-Reference Autoregression (MRAR), dat autoregressieve generatie uitvoert door het volgende beeld te voorspellen. MRAR stelt het model in staat om meerdere eerder gegenereerde beelden te refereren, waardoor het leren van meer diverse representaties wordt gefaciliteerd en de kwaliteit van gegenereerde beelden in volgende iteraties wordt verbeterd. Door MRAR toe te passen, wordt de prestaties van TransDiff verbeterd, waarbij de FID wordt verlaagd van 1.61 naar 1.42. We verwachten dat TransDiff een nieuw tijdperk inluidt op het gebied van beeldgeneratie.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.