Generación Visual Autoregresiva Paralelizada

Parallelized Autoregressive Visual Generation

December 19, 2024

Autores: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Resumen

Los modelos autoregresivos han surgido como un enfoque poderoso para la generación visual, pero sufren de una velocidad de inferencia lenta debido a su proceso de predicción secuencial token por token. En este documento, proponemos un enfoque simple pero efectivo para la generación visual autoregresiva paralela que mejora la eficiencia de generación mientras preserva las ventajas del modelado autoregresivo. Nuestra idea clave es que la generación paralela depende de las dependencias entre tokens visuales: los tokens con dependencias débiles pueden generarse en paralelo, mientras que los tokens adyacentes fuertemente dependientes son difíciles de generar juntos, ya que su muestreo independiente puede llevar a inconsistencias. Basándonos en esta observación, desarrollamos una estrategia de generación paralela que genera tokens distantes con dependencias débiles en paralelo, mientras mantiene la generación secuencial para tokens locales fuertemente dependientes. Nuestro enfoque puede integrarse fácilmente en modelos autoregresivos estándar sin modificar la arquitectura o el tokenizador. Experimentos en ImageNet y UCF-101 demuestran que nuestro método logra una aceleración de 3.6 veces con calidad comparable y hasta 9.5 veces de aceleración con una degradación mínima de calidad en tareas de generación de imágenes y videos. Esperamos que este trabajo inspire futuras investigaciones en generación visual eficiente y modelado autoregresivo unificado. Página del proyecto: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.