Стабилизация латентного пространства для авторегрессионного моделирования изображений: объединенная перспектива

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Авторы: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Аннотация

Модели генерации изображений на основе латентных переменных, такие как модели латентной диффузии (LDM) и модели маскирования изображений (MIM), достигли значительного успеха в задачах генерации изображений. Эти модели обычно используют реконструктивные автоэнкодеры, такие как VQGAN или VAE, для кодирования пикселей в более компактное латентное пространство и изучения распределения данных в латентном пространстве вместо прямого изучения пикселей. Однако это поднимает важный вопрос: является ли это действительно оптимальным выбором? В ответ на это мы начинаем с интересного наблюдения: несмотря на то, что они используют одно и то же латентное пространство, авторегрессионные модели значительно уступают LDM и MIM в генерации изображений. Это открытие резко контрастирует с областью обработки естественного языка, где авторегрессионная модель GPT установила доминирующее положение. Для решения этого расхождения мы представляем унифицированную перспективу на отношения между латентным пространством и генеративными моделями, акцентируя стабильность латентного пространства в моделировании генерации изображений. Более того, мы предлагаем простой, но эффективный дискретный токенизатор изображений для стабилизации латентного пространства в генеративном моделировании изображений. Экспериментальные результаты показывают, что моделирование изображений с использованием нашего токенизатора (DiGIT) приносит пользу как пониманию изображений, так и их генерации с принципом предсказания следующего токена, что врожденно просто для моделей GPT, но вызывает трудности для других генеративных моделей. Замечательно, впервые модель авторегрессии в стиле GPT для изображений превосходит LDM, что также проявляет значительное улучшение, подобное GPT, при увеличении размера модели. Наши результаты подчеркивают потенциал оптимизированного латентного пространства и интеграции дискретной токенизации в развитии возможностей генеративных моделей изображений. Код доступен по ссылке https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.