Stabiliser l'espace latent pour la modélisation autorégressive d'images : une perspective unifiée

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Auteurs: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Résumé

Les modèles génératifs d'images basés sur les latents, tels que les Modèles de Diffusion Latente (MDL) et les Modèles d'Images Masquées (MIM), ont connu un succès notable dans les tâches de génération d'images. Ces modèles exploitent généralement des autoencodeurs reconstructifs tels que VQGAN ou VAE pour encoder les pixels dans un espace latent plus compact et apprendre la distribution des données dans l'espace latent plutôt que directement à partir des pixels. Cependant, cette pratique soulève une question pertinente : est-ce vraiment le choix optimal ? En réponse, nous commençons par une observation intrigante : malgré le partage du même espace latent, les modèles autorégressifs accusent un retard significatif par rapport aux MDL et MIM dans la génération d'images. Cette découverte contraste fortement avec le domaine du TALN, où le modèle autorégressif GPT a établi une présence dominante. Pour résoudre cette disparité, nous introduisons une perspective unifiée sur la relation entre l'espace latent et les modèles génératifs, en mettant l'accent sur la stabilité de l'espace latent dans la modélisation générative d'images. De plus, nous proposons un tokeniseur d'images discret simple mais efficace pour stabiliser l'espace latent dans la modélisation générative d'images. Les résultats expérimentaux montrent que la modélisation autorégressive d'images avec notre tokeniseur (DiGIT) bénéficie à la fois de la compréhension des images et de la génération d'images avec le principe de prédiction du prochain token, qui est intrinsèquement simple pour les modèles GPT mais difficile pour d'autres modèles génératifs. Remarquablement, pour la première fois, un modèle autorégressif de style GPT pour les images surpasse les MDL, ce qui présente également une amélioration substantielle similaire à GPT lors de l'augmentation de la taille du modèle. Nos résultats soulignent le potentiel d'un espace latent optimisé et de l'intégration de la tokenisation discrète pour faire progresser les capacités des modèles génératifs d'images. Le code est disponible sur https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.