Parallele autoregressive visuelle Generierung

Parallelized Autoregressive Visual Generation

December 19, 2024

Autoren: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Zusammenfassung

Autoregressive Modelle haben sich als ein leistungsstarker Ansatz für die visuelle Generierung erwiesen, leiden jedoch aufgrund ihres sequenziellen Token-für-Token-Vorhersageprozesses unter langsamer Inferenzgeschwindigkeit. In diesem Papier schlagen wir einen einfachen, aber effektiven Ansatz für die parallelisierte autoregressive visuelle Generierung vor, der die Generierungseffizienz verbessert, während die Vorteile des autoregressiven Modellierens erhalten bleiben. Unser wichtigstes Erkenntnis ist, dass die parallele Generierung von visuellen Tokenabhängigkeiten abhängt - Tokens mit schwachen Abhängigkeiten können parallel generiert werden, während stark abhängige benachbarte Tokens schwer zusammen generiert werden können, da ihre unabhängige Abtastung zu Inkonsistenzen führen kann. Basierend auf dieser Beobachtung entwickeln wir eine parallele Generierungsstrategie, die entfernte Tokens mit schwachen Abhängigkeiten parallel generiert, während die sequenzielle Generierung für stark abhängige lokale Tokens beibehalten wird. Unser Ansatz kann nahtlos in Standard-Autoregressive Modelle integriert werden, ohne die Architektur oder den Tokenizer zu ändern. Experimente auf ImageNet und UCF-101 zeigen, dass unsere Methode eine 3,6-fache Beschleunigung bei vergleichbarer Qualität und bis zu 9,5-fache Beschleunigung bei minimaler Qualitätsverschlechterung bei sowohl Bild- als auch Videogenerierungsaufgaben erreicht. Wir hoffen, dass diese Arbeit zukünftige Forschung in effizienter visueller Generierung und vereinheitlichtem autoregressivem Modellieren inspirieren wird. Projektseite: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.