Stabilisierung des latenten Raums für die autoregressive Modellierung von Bildern: Eine einheitliche Perspektive

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Autoren: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Zusammenfassung

Latentenbasierte Bild-generative Modelle, wie Latente Diffusionsmodelle (LDMs) und Maskenbildmodelle (MIMs), haben bemerkenswerten Erfolg bei Bildgenerierungsaufgaben erzielt. Diese Modelle nutzen in der Regel rekonstruktive Autoencoder wie VQGAN oder VAE, um Pixel in einen kompakteren latenten Raum zu kodieren und die Datenverteilung im latenten Raum anstelle direkt von den Pixeln zu erlernen. Diese Praxis wirft jedoch eine wichtige Frage auf: Ist dies wirklich die optimale Wahl? Als Antwort beginnen wir mit einer faszinierenden Beobachtung: Obwohl autoregressive Modelle den gleichen latenten Raum teilen, hinken sie bei der Bildgenerierung signifikant hinter LDMs und MIMs hinterher. Dieser Befund steht im starken Kontrast zum Bereich der natürlichen Sprachverarbeitung, wo das autoregressive Modell GPT eine dominierende Präsenz etabliert hat. Um diese Diskrepanz anzugehen, führen wir eine vereinheitlichte Perspektive auf die Beziehung zwischen latentem Raum und generativen Modellen ein und betonen die Stabilität des latenten Raums bei der Bildgenerierung. Darüber hinaus schlagen wir einen einfachen, aber effektiven diskreten Bild-Tokenizer vor, um den latenten Raum für die Bildgenerierung zu stabilisieren. Experimentelle Ergebnisse zeigen, dass die Bildautoregressive Modellierung mit unserem Tokenizer (DiGIT) sowohl der Bildverarbeitung als auch der Bildgenerierung mit dem Prinzip der Vorhersage des nächsten Tokens zugute kommt, das für GPT-Modelle inhärent einfach, aber für andere generative Modelle herausfordernd ist. Bemerkenswert ist, dass ein GPT-ähnliches autoregressives Modell für Bilder erstmals LDMs übertrifft, was auch eine deutliche Verbesserung ähnlich wie bei GPT bei Skalierung der Modellgröße zeigt. Unsere Ergebnisse unterstreichen das Potenzial eines optimierten latenten Raums und die Integration der diskreten Tokenisierung zur Weiterentwicklung der Fähigkeiten von Bild-generativen Modellen. Der Code ist verfügbar unter https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.