Estabilização do Espaço Latente para Modelagem Autoregressiva de Imagens: Uma Perspectiva Unificada

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Autores: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Resumo

Modelos generativos de imagens baseados em latentes, como Modelos de Difusão Latente (LDMs) e Modelos de Imagem de Máscara (MIMs), têm alcançado sucesso notável em tarefas de geração de imagens. Esses modelos geralmente se baseiam em autoencoders reconstrutivos como VQGAN ou VAE para codificar pixels em um espaço latente mais compacto e aprender a distribuição de dados nesse espaço latente em vez de diretamente dos pixels. No entanto, essa prática levanta uma questão pertinente: será realmente a escolha ideal? Em resposta, começamos com uma observação intrigante: apesar de compartilharem o mesmo espaço latente, os modelos autoregressivos ficam significativamente atrás dos LDMs e MIMs na geração de imagens. Esse achado contrasta fortemente com o campo da PNL, onde o modelo autoregressivo GPT estabeleceu uma presença dominante. Para abordar essa discrepância, introduzimos uma perspectiva unificada sobre a relação entre espaço latente e modelos generativos, enfatizando a estabilidade do espaço latente na modelagem generativa de imagens. Além disso, propomos um tokenizador de imagem discreto simples, mas eficaz, para estabilizar o espaço latente na modelagem generativa de imagens. Resultados experimentais mostram que a modelagem autoregressiva de imagens com nosso tokenizador (DiGIT) beneficia tanto a compreensão de imagens quanto a geração de imagens com o princípio de previsão do próximo token, que é inerentemente direto para modelos GPT, mas desafiador para outros modelos generativos. Notavelmente, pela primeira vez, um modelo autoregressivo no estilo GPT para imagens supera os LDMs, o que também apresenta uma melhoria substancial semelhante ao GPT ao aumentar o tamanho do modelo. Nossas descobertas destacam o potencial de um espaço latente otimizado e a integração de tokenização discreta no avanço das capacidades dos modelos generativos de imagens. O código está disponível em https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.