Ускорение авторегрессивной генерации текста в изображения с помощью обучения-без Спекулятивного декодирования Якоби.

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

Авторы: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

Аннотация

Существующие крупные авторегрессионные модели могут генерировать изображения высокого качества и высокого разрешения, однако для вывода эти модели требуют сотен или даже тысяч шагов предсказания следующего токена, что приводит к значительным временным затратам. В существующих исследованиях для ускорения авторегрессионной генерации применялся метод декодирования Якоби, итеративный параллельный алгоритм декодирования, который может быть выполнен без обучения. Однако декодирование Якоби опирается на детерминированный критерий для определения сходимости итераций. Поэтому он подходит для жадного декодирования, но несовместим с декодированием на основе выборки, что является важным для визуального качества и разнообразия в текущей авторегрессионной генерации текста в изображение. В данной статье мы предлагаем алгоритм параллельного декодирования без обучения, вероятностное спекулятивное декодирование Якоби (SJD), для ускорения авторегрессионной генерации текста в изображение. Внедряя вероятностный критерий сходимости, наше SJD ускоряет вывод авторегрессионной генерации текста в изображение, сохраняя при этом случайность при декодировании токенов на основе выборки и позволяя модели генерировать разнообразные изображения. Конкретно, SJD облегчает модели предсказывать несколько токенов на каждом шаге и принимать токены на основе вероятностного критерия, что позволяет модели генерировать изображения с меньшим количеством шагов, чем в традиционной парадигме предсказания следующего токена. Мы также исследуем стратегии инициализации токенов, использующие пространственную локальность визуальных данных, для дальнейшего улучшения коэффициента ускорения в определенных сценариях. Мы проводим эксперименты с нашим предложенным SJD на нескольких моделях авторегрессивной генерации текста в изображение, демонстрируя эффективность ускорения модели без ущерба для визуального качества.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.