Acelerando la Generación de Texto a Imagen Auto-regresiva con Decodificación Especulativa de Jacobi sin Entrenamiento

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

Autores: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

Resumen

Los actuales modelos auto-regresivos de gran tamaño pueden generar imágenes de alta calidad y alta resolución, pero estos modelos requieren cientos o incluso miles de pasos de predicción del siguiente token durante la inferencia, lo que resulta en un consumo de tiempo sustancial. En estudios existentes, la decodificación de Jacobi, un algoritmo iterativo de decodificación paralela, se ha utilizado para acelerar la generación auto-regresiva y puede ejecutarse sin entrenamiento. Sin embargo, la decodificación de Jacobi se basa en un criterio determinista para determinar la convergencia de las iteraciones. Por lo tanto, funciona para la decodificación codiciosa pero es incompatible con la decodificación basada en muestreo, que es crucial para la calidad visual y la diversidad en la generación actual de texto a imagen auto-regresiva. En este artículo, proponemos un algoritmo de decodificación paralela probabilística sin entrenamiento, Decodificación Jacobi Especulativa (SJD), para acelerar la generación auto-regresiva de texto a imagen. Al introducir un criterio de convergencia probabilístico, nuestro SJD acelera la inferencia de la generación auto-regresiva de texto a imagen manteniendo al azar en la decodificación de tokens basada en muestreo y permitiendo que el modelo genere imágenes diversas. Específicamente, SJD facilita al modelo predecir múltiples tokens en cada paso y aceptar tokens basados en el criterio probabilístico, lo que permite al modelo generar imágenes con menos pasos que el paradigma convencional de predicción del siguiente token. También investigamos estrategias de inicialización de tokens que aprovechan la localidad espacial de los datos visuales para mejorar aún más la relación de aceleración en escenarios específicos. Realizamos experimentos para nuestro SJD propuesto en múltiples modelos de generación auto-regresiva de texto a imagen, mostrando la efectividad de la aceleración del modelo sin sacrificar la calidad visual.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.