Случайная авторегрессионная визуальная генерация

Randomized Autoregressive Visual Generation

November 1, 2024

Авторы: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Аннотация

Эта статья представляет моделирование случайных авторегрессионных процессов (RAR) для визуальной генерации, которое устанавливает новый уровень производительности на задаче генерации изображений, сохраняя полную совместимость с языковыми моделями. Предложенный RAR прост: во время стандартного процесса обучения авторегрессии с целью предсказания следующего токена, входная последовательность, обычно упорядоченная в растре, случайным образом переставляется в различные порядки факторизации с вероятностью r, где r начинается с 1 и линейно уменьшается до 0 в течение обучения. Эта стратегия обучения отжига позволяет модели научиться максимизировать ожидаемую вероятность по всем порядкам факторизации и, таким образом, эффективно улучшить способность модели к моделированию двунаправленных контекстов. Важно, что RAR сохраняет целостность фреймворка авторегрессии, обеспечивая полную совместимость с языковым моделированием, при этом значительно улучшая производительность в генерации изображений. На тесте ImageNet-256, RAR достигает значения FID в 1,48, превосходя не только предыдущие авторегрессионные генераторы изображений нового уровня производительности, но и превосходя ведущие методы на основе диффузии и маскированных трансформеров. Код и модели будут доступны по адресу https://github.com/bytedance/1d-tokenizer

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer