Beschleunigung der auto-regressiven Text-zu-Bild-Generierung mit trainingfreiem spekulativem Jacobi-Decodieren.

Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

October 2, 2024

Autoren: Yao Teng, Han Shi, Xian Liu, Xuefei Ning, Guohao Dai, Yu Wang, Zhenguo Li, Xihui Liu

cs.AI

Zusammenfassung

Die aktuellen großen autoregressiven Modelle können hochwertige, hochauflösende Bilder generieren, erfordern jedoch Hunderte oder sogar Tausende von Schritten zur Vorhersage des nächsten Tokens während der Inferenz, was zu erheblichem Zeitverbrauch führt. In bestehenden Studien wurde die Jacobi-Dekodierung, ein iterativer paralleler Dekodierungsalgorithmus, verwendet, um die autoregressive Generierung zu beschleunigen und kann ohne Training ausgeführt werden. Die Jacobi-Dekodierung basiert jedoch auf einem deterministischen Kriterium zur Bestimmung der Konvergenz der Iterationen. Daher funktioniert sie für die gierige Dekodierung, ist aber nicht kompatibel mit der auf Stichproben basierenden Dekodierung, die für die visuelle Qualität und Vielfalt in der aktuellen autoregressiven Text-zu-Bild-Generierung entscheidend ist. In diesem Paper schlagen wir einen trainingsfreien probabilistischen parallelen Dekodierungsalgorithmus, das Spekulative Jacobi-Dekodierung (SJD), vor, um die autoregressive Text-zu-Bild-Generierung zu beschleunigen. Durch die Einführung eines probabilistischen Konvergenzkriteriums beschleunigt unser SJD die Inferenz der autoregressiven Text-zu-Bild-Generierung, während die Zufälligkeit bei der auf Stichproben basierenden Token-Dekodierung beibehalten wird und es dem Modell ermöglicht, verschiedene Bilder zu generieren. Speziell ermöglicht SJD dem Modell, mehrere Tokens in jedem Schritt vorherzusagen und Tokens basierend auf dem probabilistischen Kriterium zu akzeptieren, was dem Modell ermöglicht, Bilder mit weniger Schritten als im herkömmlichen Paradigma der nächsten-Token-Vorhersage zu generieren. Wir untersuchen auch die Token-Initialisierungsstrategien, die die räumliche Lokalität von visuellen Daten nutzen, um das Beschleunigungsverhältnis unter bestimmten Szenarien weiter zu verbessern. Wir führen Experimente für unser vorgeschlagenes SJD an mehreren autoregressiven Text-zu-Bild-Generierungsmodellen durch und zeigen die Wirksamkeit der Modellbeschleunigung, ohne die visuelle Qualität zu beeinträchtigen.

English

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.