Paralleliseerde Autoregressieve Visuele Generatie

Parallelized Autoregressive Visual Generation

December 19, 2024

Auteurs: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Samenvatting

Autoregressieve modellen zijn naar voren gekomen als een krachtige benadering voor visuele generatie, maar kampen met een trage inferentiesnelheid vanwege hun sequentiële token-voor-token voorspellingsproces. In dit artikel stellen we een eenvoudige maar effectieve benadering voor voor geparelleliseerde autoregressieve visuele generatie die de generatie-efficiëntie verbetert terwijl de voordelen van autoregressieve modellering behouden blijven. Ons belangrijkste inzicht is dat parallelle generatie afhankelijk is van visuele tokenafhankelijkheden - tokens met zwakke afhankelijkheden kunnen parallel worden gegenereerd, terwijl sterk afhankelijke aangrenzende tokens moeilijk samen kunnen worden gegenereerd, omdat hun onafhankelijke bemonstering tot inconsistenties kan leiden. Op basis van deze observatie ontwikkelen we een parallelle generatiestrategie die verre tokens met zwakke afhankelijkheden parallel genereert, terwijl sequentiële generatie wordt behouden voor sterk afhankelijke lokale tokens. Onze benadering kan naadloos worden geïntegreerd in standaard autoregressieve modellen zonder de architectuur of tokenizer aan te passen. Experimenten op ImageNet en UCF-101 tonen aan dat onze methode een 3,6x versnelling met vergelijkbare kwaliteit behaalt en tot 9,5x versnelling met minimale kwaliteitsdegradatie bij zowel beeld- als videogeneratietaken. We hopen dat dit werk toekomstig onderzoek zal inspireren op het gebied van efficiënte visuele generatie en verenigde autoregressieve modellering. Projectpagina: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.