画像自己回帰モデリングのための潜在空間の安定化：統一された視点

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

著者: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

要旨

潜在ベースの画像生成モデル、例えば潜在拡散モデル（LDM）やマスク画像モデル（MIM）は、画像生成タスクにおいて注目すべき成功を収めています。これらのモデルは通常、VQGANやVAEのような再構成オートエンコーダを活用して、ピクセルをよりコンパクトな潜在空間にエンコードし、データ分布をピクセルではなく潜在空間から学習します。しかしながら、この手法は重要な問題を提起します。それは本当に最適な選択肢なのでしょうか？この疑問に対処するために、我々は興味深い観察から始めます。同じ潜在空間を共有しているにもかかわらず、自己回帰モデルは画像生成においてLDMやMIMに大きく遅れを取っているという結果があります。この発見は、自然言語処理の分野とは対照的であり、自己回帰モデルGPTが優位な存在を築いているという点が挙げられます。この食い違いに対処するために、潜在空間と生成モデルの関係について統一的な視点を提案し、画像生成モデリングにおける潜在空間の安定性を重視します。さらに、画像生成モデリングにおける潜在空間を安定化するためのシンプルかつ効果的な離散画像トークナイザを提案します。実験結果は、当社のトークナイザ（DiGIT）を用いた画像自己回帰モデリングが、次のトークン予測原則により画像理解と画像生成の両方に利益をもたらすことを示しています。この原則はGPTモデルにとっては本質的に簡単ですが、他の生成モデルにとっては難しいものです。驚くべきことに、画像用のGPTスタイルの自己回帰モデルが初めてLDMを上回り、モデルサイズを拡大するとGPTと同様の大幅な改善が見られます。我々の発見は、最適化された潜在空間と離散トークナイゼーションの統合が画像生成モデルの能力向上にどれほど貢献するかを強調しています。コードはhttps://github.com/DAMO-NLP-SG/DiGIT で入手可能です。

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.