훈련 없이 추정 제이코비 디코딩을 활용하여 자기 회귀 텍스트 대 이미지 생성 가속화

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

저자: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

초록

현재의 대형 자기회귀 모델은 고품질, 고해상도 이미지를 생성할 수 있지만, 이러한 모델은 추론 중에 수백 번 또는 수천 번의 다음 토큰 예측 단계가 필요하여 상당한 시간이 소요됩니다. 기존 연구에서는 자코비 디코딩, 반복적 병렬 디코딩 알고리즘을 사용하여 자기회귀 생성을 가속화하고 훈련 없이 실행할 수 있습니다. 그러나 자코비 디코딩은 반복의 수렴을 결정하기 위해 결정론적 기준에 의존합니다. 따라서 이는 탐욕 디코딩에는 작동하지만 현재 자기회귀 텍스트-이미지 생성에서 시각적 품질과 다양성에 중요한 샘플링 기반 디코딩과 호환되지 않습니다. 본 논문에서는 훈련 없이 확률적 병렬 디코딩 알고리즘인 추측 자코비 디코딩(SJD)을 제안하여 자기회귀 텍스트-이미지 생성을 가속화합니다. 확률 수렴 기준을 도입함으로써 우리의 SJD는 자기회귀 텍스트-이미지 생성의 추론을 가속화하면서 샘플링 기반 토큰 디코딩에서의 무작위성을 유지하고 모델이 다양한 이미지를 생성할 수 있게 합니다. 구체적으로 SJD는 각 단계에서 여러 토큰을 예측하고 확률적 기준에 따라 토큰을 수용하여 모델이 기존의 다음 토큰 예측 패러다임보다 적은 단계로 이미지를 생성할 수 있도록 합니다. 또한 특정 시나리오에서 가속 비율을 더 향상시키기 위해 시각 데이터의 공간적 국소성을 활용하는 토큰 초기화 전략을 조사합니다. 우리가 제안한 SJD에 대한 여러 자기회귀 텍스트-이미지 생성 모델에서 실험을 수행하여 시각적 품질을 희생하지 않고 모델 가속화의 효과를 보여줍니다.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.