Объединение авторегрессивного трансформера и диффузии с использованием мультиреференсной авторегрессии

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

Авторы: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

Аннотация

Мы представляем TransDiff — первую модель генерации изображений, которая объединяет авторегрессивный (AR) трансформер с диффузионными моделями. В рамках этого совместного подхода TransDiff кодирует метки и изображения в высокоуровневые семантические признаки и использует диффузионную модель для оценки распределения сэмплов изображений. На бенчмарке ImageNet 256x256 TransDiff значительно превосходит другие модели генерации изображений, основанные исключительно на авторегрессивных трансформерах или диффузионных моделях. В частности, TransDiff достигает показателя Fr\'echet Inception Distance (FID) 1.61 и Inception Score (IS) 293.4, а также обеспечивает в 2 раза более быструю задержку вывода по сравнению с современными методами на основе AR-трансформеров и в 112 раз быстрее, чем модели, использующие только диффузию. Кроме того, на основе модели TransDiff мы представляем новую парадигму генерации изображений под названием Multi-Reference Autoregression (MRAR), которая выполняет авторегрессивную генерацию, предсказывая следующее изображение. MRAR позволяет модели ссылаться на несколько ранее сгенерированных изображений, что способствует изучению более разнообразных представлений и повышению качества изображений в последующих итерациях. Применение MRAR улучшает производительность TransDiff, снижая FID с 1.61 до 1.42. Мы ожидаем, что TransDiff откроет новые горизонты в области генерации изображений.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.