Авторегрессионная модель превосходит диффузию: Llama для масштабируемой генерации изображений

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

June 10, 2024

Авторы: Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan

cs.AI

Аннотация

Мы представляем LlamaGen - новое семейство моделей генерации изображений, которые применяют оригинальную парадигму "предсказания следующего токена" крупных языковых моделей в области визуальной генерации. Это утвердительный ответ на вопрос о том, могут ли авторегрессивные модели, например, Llama, без индуктивных предвзятостей к визуальным сигналам достичь передовой производительности генерации изображений при правильном масштабировании. Мы пересматриваем пространства проектирования токенизаторов изображений, свойства масштабируемости моделей генерации изображений и качество обучающих данных. Результатом этого исследования являются: (1) Токенизатор изображений с коэффициентом понижения разрешения 16, качеством восстановления 0.94 rFID и использованием кодовой книги на уровне 97% на базе данных ImageNet. (2) Серия классовых моделей генерации изображений с числом параметров от 111 млн до 3.1 млрд, достигающих значения 2.18 FID на базе данных ImageNet 256x256, превосходя популярные модели диффузии, такие как LDM, DiT. (3) Модель генерации изображений с условием текста с 775 млн параметров, обученная в два этапа на LAION-COCO и изображениях высокого качества эстетики, демонстрирующая конкурентоспособную производительность по качеству изображения и выравниванию текста. (4) Мы проверяем эффективность фреймворков обслуживания LLM в оптимизации скорости вывода моделей генерации изображений и достигаем ускорения от 326% до 414%. Мы предоставляем все модели и коды для облегчения работы сообщества с открытым исходным кодом в области визуальной генерации и мультимодальных базовых моделей.

English

We introduce LlamaGen, a new family of image generation models that apply original ``next-token prediction'' paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256x256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% - 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.