Génération visuelle autoregressive parallélisée

Parallelized Autoregressive Visual Generation

December 19, 2024

Auteurs: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Résumé

Les modèles autorégressifs se sont imposés comme une approche puissante pour la génération visuelle, mais souffrent d'une vitesse d'inférence lente en raison de leur processus de prédiction séquentielle token par token. Dans cet article, nous proposons une approche simple mais efficace pour la génération visuelle autorégressive parallélisée qui améliore l'efficacité de la génération tout en préservant les avantages de la modélisation autorégressive. Notre insight clé est que la génération parallèle dépend des dépendances entre tokens visuels - les tokens avec des faibles dépendances peuvent être générés en parallèle, tandis que les tokens adjacents fortement dépendants sont difficiles à générer ensemble, car leur échantillonnage indépendant peut entraîner des incohérences. Sur la base de cette observation, nous développons une stratégie de génération parallèle qui génère des tokens distants avec de faibles dépendances en parallèle tout en maintenant une génération séquentielle pour les tokens locaux fortement dépendants. Notre approche peut être intégrée de manière transparente dans des modèles autorégressifs standard sans modifier l'architecture ou le tokenizer. Les expériences sur ImageNet et UCF-101 montrent que notre méthode permet d'atteindre un gain de vitesse de 3,6 fois avec une qualité comparable et jusqu'à 9,5 fois avec une dégradation minimale de la qualité pour les tâches de génération d'images et de vidéos. Nous espérons que ce travail inspirera des recherches futures dans la génération visuelle efficace et la modélisation autorégressive unifiée. Page du projet : https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.