Stabilizzare lo Spazio Latente per la Modellazione Autoregressiva delle Immagini: Una Prospettiva Unificata

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Autori: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Abstract

I modelli generativi di immagini basati su latenti, come i Modelli di Diffusione Latenti (LDMs) e i Modelli di Immagini a Maschera (MIMs), hanno ottenuto un notevole successo nei compiti di generazione di immagini. Tipicamente, questi modelli sfruttano autoencoder ricostruttivi come VQGAN o VAE per codificare i pixel in uno spazio latente più compatto e apprendere la distribuzione dei dati nello spazio latente anziché direttamente dai pixel. Tuttavia, questa pratica solleva una domanda rilevante: è davvero la scelta ottimale? In risposta, partiamo da un'osservazione intrigante: nonostante condividano lo stesso spazio latente, i modelli autoregressivi rimangono significativamente indietro rispetto a LDMs e MIMs nella generazione di immagini. Questa scoperta contrasta nettamente con il campo dell'NLP, dove il modello autoregressivo GPT ha stabilito una presenza dominante. Per affrontare questa discrepanza, introduciamo una prospettiva unificata sulla relazione tra lo spazio latente e i modelli generativi, sottolineando la stabilità dello spazio latente nella modellazione generativa di immagini. Inoltre, proponiamo un tokenizzatore di immagini discreto semplice ma efficace per stabilizzare lo spazio latente per la modellazione generativa di immagini. I risultati sperimentali mostrano che la modellazione autoregressiva di immagini con il nostro tokenizzatore (DiGIT) beneficia sia della comprensione delle immagini che della generazione di immagini con il principio della previsione del token successivo, che è intrinsecamente semplice per i modelli GPT ma impegnativo per altri modelli generativi. Notevolmente, per la prima volta, un modello autoregressivo in stile GPT per immagini supera LDMs, che mostra anche un miglioramento sostanziale simile a GPT quando si scala la dimensione del modello. Le nostre scoperte sottolineano il potenziale di uno spazio latente ottimizzato e l'integrazione della tokenizzazione discreta nel migliorare le capacità dei modelli generativi di immagini. Il codice è disponibile su https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.