Параллельная авторегрессионная визуальная генерация

Parallelized Autoregressive Visual Generation

December 19, 2024

Авторы: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Аннотация

Авторегрессионные модели стали мощным подходом для визуальной генерации, но страдают от медленной скорости вывода из-за последовательного предсказания токенов. В данной статье мы предлагаем простой, но эффективный подход для параллельной авторегрессионной визуальной генерации, который повышает эффективность генерации, сохраняя преимущества авторегрессионного моделирования. Наш ключевой инсайт заключается в том, что параллельная генерация зависит от визуальной зависимости токенов - токены с слабыми зависимостями могут быть сгенерированы параллельно, в то время как сильно зависимые соседние токены сложно генерировать вместе, поскольку их независимая выборка может привести к несоответствиям. Исходя из этого наблюдения, мы разработали стратегию параллельной генерации, которая генерирует удаленные токены с слабыми зависимостями параллельно, сохраняя последовательную генерацию для сильно зависимых локальных токенов. Наш подход может быть легко интегрирован в стандартные авторегрессионные модели без изменения архитектуры или токенизатора. Эксперименты на ImageNet и UCF-101 показывают, что наш метод достигает ускорения в 3,6 раза с сопоставимым качеством и до 9,5 раз ускорения с минимальным ухудшением качества как для задач генерации изображений, так и видео. Мы надеемся, что данная работа вдохновит будущие исследования в области эффективной визуальной генерации и объединенного авторегрессионного моделирования. Страница проекта: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.