멀티 레퍼런스 자기회귀를 통한 자기회귀 트랜스포머와 확산 모델의 결합

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

저자: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

초록

우리는 Autoregressive(AR) Transformer와 확산 모델(diffusion model)을 결합한 최초의 이미지 생성 모델인 TransDiff를 소개한다. 이 공동 모델링 프레임워크에서 TransDiff는 레이블과 이미지를 고수준의 의미론적 특징으로 인코딩하고, 확산 모델을 사용하여 이미지 샘플의 분포를 추정한다. ImageNet 256x256 벤치마크에서 TransDiff는 독립적인 AR Transformer 또는 확산 모델 기반의 다른 이미지 생성 모델들을 크게 능가한다. 구체적으로, TransDiff는 Fréchet Inception Distance(FID) 1.61과 Inception Score(IS) 293.4를 달성하며, 최신 AR Transformer 기반 방법 대비 2배 빠른 추론 지연 시간과 확산 모델 단독 기반 모델 대비 112배 빠른 추론 속도를 제공한다. 더 나아가, TransDiff 모델을 기반으로 Multi-Reference Autoregression(MRAR)이라는 새로운 이미지 생성 패러다임을 제안한다. MRAR은 다음 이미지를 예측함으로써 자기회귀적 생성을 수행하며, 이전에 생성된 여러 이미지를 참조할 수 있게 함으로써 더 다양한 표현을 학습하고 후속 반복에서 생성된 이미지의 품질을 향상시킨다. MRAR을 적용함으로써 TransDiff의 성능이 개선되어 FID가 1.61에서 1.42로 감소한다. 우리는 TransDiff가 이미지 생성 분야에서 새로운 지평을 열 것으로 기대한다.

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.