Meissonic：マスクされた生成トランスフォーマーを活性化して、効率的な高解像度テキストから画像への合成を実現

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

著者: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

要旨

拡散モデル、例えばStable Diffusionなどは、視覚生成において著しい進歩を遂げていますが、そのパラダイムは自己回帰言語モデルと根本的に異なるため、統合された言語-ビジョンモデルの開発が複雑化しています。LlamaGenなどの最近の取り組みでは、離散的なVQVAEトークンを用いた自己回帰画像生成が試みられましたが、関与するトークンの数が多いため、この手法は非効率で遅いとされています。本研究では、Meissonicを提案し、非自己回帰のマスク画像モデリング（MIM）を、SDXLなどの最先端の拡散モデルと同等のレベルに引き上げます。包括的なアーキテクチャ革新、高度な位置符号化戦略、最適化されたサンプリング条件を組み込むことで、MeissonicはMIMの性能と効率を大幅に向上させます。さらに、高品質なトレーニングデータを活用し、人間の選好スコアに基づくマイクロ条件を統合し、特徴圧縮レイヤーを使用して画像の忠実度と解像度をさらに向上させます。我々のモデルは、高品質で高解像度の画像を生成する点で、しばしばSDXLなどの既存モデルを凌駕します。幅広い実験により、Meissonicの能力が検証され、テキストから画像への合成において新たな標準としての潜在能力が示されます。1024×1024解像度の画像を生成できるモデルチェックポイントを公開します。

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.