Acelerando a Geração de Texto-para-Imagem Auto-regressiva com Decodificação Especulativa de Jacobi sem Treinamento.

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

Autores: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

Resumo

Os atuais modelos auto-regressivos de grande escala podem gerar imagens de alta qualidade e alta resolução, mas esses modelos requerem centenas ou até milhares de passos de previsão do próximo token durante a inferência, resultando em um consumo de tempo substancial. Em estudos existentes, a decodificação de Jacobi, um algoritmo iterativo de decodificação paralela, tem sido utilizado para acelerar a geração auto-regressiva e pode ser executado sem treinamento. No entanto, a decodificação de Jacobi depende de um critério determinístico para determinar a convergência das iterações. Assim, funciona para decodificação gananciosa, mas é incompatível com a decodificação baseada em amostragem, que é crucial para a qualidade visual e diversidade na geração atual de texto-para-imagem auto-regressiva. Neste artigo, propomos um algoritmo de decodificação paralela probabilístico sem treinamento, Decodificação Jacobi Especulativa (SJD), para acelerar a geração auto-regressiva de texto-para-imagem. Ao introduzir um critério de convergência probabilístico, nosso SJD acelera a inferência da geração auto-regressiva de texto-para-imagem, mantendo a aleatoriedade na decodificação de token baseada em amostragem e permitindo que o modelo gere imagens diversas. Especificamente, o SJD facilita o modelo a prever múltiplos tokens em cada etapa e aceita tokens com base no critério probabilístico, permitindo que o modelo gere imagens com menos etapas do que o paradigma convencional de previsão do próximo token. Também investigamos as estratégias de inicialização de token que aproveitam a localidade espacial dos dados visuais para melhorar ainda mais a taxa de aceleração em cenários específicos. Realizamos experimentos para nosso SJD proposto em múltiplos modelos de geração auto-regressiva de texto-para-imagem, mostrando a eficácia da aceleração do modelo sem sacrificar a qualidade visual.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.