Accélérer la génération de texte en image auto-régressive avec le décodage spéculatif de Jacobi sans entraînement

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

Auteurs: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

Résumé

Les modèles auto-régressifs actuels peuvent générer des images de haute qualité et haute résolution, mais ces modèles nécessitent des centaines, voire des milliers d'étapes de prédiction du prochain token lors de l'inférence, ce qui entraîne une consommation de temps substantielle. Dans les études existantes, le décodage de Jacobi, un algorithme de décodage parallèle itératif, a été utilisé pour accélérer la génération auto-régressive et peut être exécuté sans entraînement. Cependant, le décodage de Jacobi repose sur un critère déterministe pour déterminer la convergence des itérations. Ainsi, il fonctionne pour le décodage glouton mais est incompatible avec le décodage basé sur l'échantillonnage, qui est crucial pour la qualité visuelle et la diversité dans la génération actuelle de texte en image auto-régressive. Dans cet article, nous proposons un algorithme de décodage parallèle probabiliste sans entraînement, le décodage spéculatif de Jacobi (SJD), pour accélérer la génération de texte en image auto-régressive. En introduisant un critère de convergence probabiliste, notre SJD accélère l'inférence de la génération de texte en image auto-régressive tout en maintenant le caractère aléatoire dans le décodage de token basé sur l'échantillonnage et en permettant au modèle de générer des images diverses. Plus précisément, le SJD permet au modèle de prédire plusieurs tokens à chaque étape et d'accepter les tokens en fonction du critère probabiliste, permettant au modèle de générer des images avec moins d'étapes que le paradigme conventionnel de prédiction du prochain token. Nous examinons également les stratégies d'initialisation de token qui exploitent la localité spatiale des données visuelles pour améliorer davantage le taux d'accélération dans des scénarios spécifiques. Nous menons des expériences pour notre SJD proposé sur plusieurs modèles de génération de texte en image auto-régressive, montrant l'efficacité de l'accélération du modèle sans sacrifier la qualité visuelle.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.