自己回帰型Transformerと拡散モデルをマルチリファレンス自己回帰で統合する

Marrying Autoregressive Transformer and Diffusion with Multi-Reference Autoregression

June 11, 2025

著者: Dingcheng Zhen, Qian Qiao, Tan Yu, Kangxi Wu, Ziwei Zhang, Siyuan Liu, Shunshun Yin, Ming Tao

cs.AI

要旨

本論文では、オートリグレッシブ（AR）トランスフォーマーと拡散モデルを統合した初の画像生成モデルであるTransDiffを紹介する。この統合モデリングフレームワークにおいて、TransDiffはラベルと画像を高次元の意味的特徴にエンコードし、拡散モデルを用いて画像サンプルの分布を推定する。ImageNet 256x256ベンチマークにおいて、TransDiffは単独のARトランスフォーマーまたは拡散モデルに基づく他の画像生成モデルを大幅に上回る性能を示した。具体的には、TransDiffはFr\'echet Inception Distance（FID）1.61、Inception Score（IS）293.4を達成し、最先端のARトランスフォーマーベースの手法と比較して2倍、拡散モデルのみの手法と比較して112倍高速な推論遅延を実現した。さらに、TransDiffモデルを基盤として、次画像を予測することでオートリグレッシブ生成を行う新しい画像生成パラダイムであるMulti-Reference Autoregression（MRAR）を提案する。MRARは、複数の過去生成画像を参照することで、より多様な表現の学習を促進し、反復的な生成画像の品質向上を可能にする。MRARを適用することで、TransDiffの性能は向上し、FIDは1.61から1.42に改善された。TransDiffが画像生成分野における新たなフロンティアを切り開くことを期待する。

English

We introduce TransDiff, the first image generation model that marries Autoregressive (AR) Transformer with diffusion models. In this joint modeling framework, TransDiff encodes labels and images into high-level semantic features and employs a diffusion model to estimate the distribution of image samples. On the ImageNet 256x256 benchmark, TransDiff significantly outperforms other image generation models based on standalone AR Transformer or diffusion models. Specifically, TransDiff achieves a Fr\'echet Inception Distance (FID) of 1.61 and an Inception Score (IS) of 293.4, and further provides x2 faster inference latency compared to state-of-the-art methods based on AR Transformer and x112 faster inference compared to diffusion-only models. Furthermore, building on the TransDiff model, we introduce a novel image generation paradigm called Multi-Reference Autoregression (MRAR), which performs autoregressive generation by predicting the next image. MRAR enables the model to reference multiple previously generated images, thereby facilitating the learning of more diverse representations and improving the quality of generated images in subsequent iterations. By applying MRAR, the performance of TransDiff is improved, with the FID reduced from 1.61 to 1.42. We expect TransDiff to open up a new frontier in the field of image generation.