トレーニング不要の先読みヤコビ復号化を用いた自己回帰テキストから画像への生成の加速化

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

著者: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

要旨

現在の大規模な自己回帰モデルは高品質で高解像度の画像を生成できますが、これらのモデルは推論中に数百から数千回の次トークン予測ステップを必要とし、かなりの時間を要します。既存の研究では、Jacobiデコーディングと呼ばれる反復並列デコーディングアルゴリズムが使用され、自己回帰生成を加速するためにトレーニングなしで実行できます。ただし、Jacobiデコーディングは反復の収束を決定するために確定的基準に依存しており、貪欲デコーディングには適していますが、現在の自己回帰的なテキストから画像への生成において視覚的品質と多様性に不可欠なサンプリングベースのデコーディングとは互換性がありません。本論文では、訓練不要の確率的並列デコーディングアルゴリズムであるSpeculative Jacobi Decoding（SJD）を提案し、自己回帰的なテキストから画像への生成を加速します。確率的収束基準を導入することで、SJDは自己回帰的なテキストから画像への生成の推論を加速し、サンプリングベースのトークンデコーディングにおけるランダム性を維持し、モデルが多様な画像を生成できるようにします。具体的には、SJDは各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け入れることで、従来の次トークン予測パラダイムよりも少ないステップで画像を生成できるようにします。また、特定のシナリオ下で加速比をさらに向上させるために、視覚データの空間的局所性を活用するトークンの初期化戦略についても調査します。提案されたSJDに関する実験を複数の自己回帰的なテキストから画像への生成モデルで実施し、視覚的品質を犠牲にすることなくモデルの加速効果を示します。

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.