Meissonic : Revitalisation des Transformateurs Génératifs Masqués pour une Synthèse Texte-Image Haute Résolution Efficace

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

Auteurs: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

Résumé

Les modèles de diffusion, tels que la Diffusion Stable, ont réalisé des avancées significatives dans la génération visuelle, cependant leur paradigme reste fondamentalement différent des modèles de langage autorégressifs, ce qui complique le développement de modèles unifiés de langage-vision. Des efforts récents comme LlamaGen ont tenté la génération d'images autorégressive en utilisant des jetons discrets VQVAE, mais le grand nombre de jetons impliqués rend cette approche inefficace et lente. Dans ce travail, nous présentons Meissonic, qui élève la modélisation d'images masquées non autorégressives (MIM) texte-vers-image à un niveau comparable aux modèles de diffusion de pointe comme SDXL. En incorporant une gamme complète d'innovations architecturales, des stratégies avancées de codage positionnel et des conditions d'échantillonnage optimisées, Meissonic améliore considérablement les performances et l'efficacité de MIM. De plus, nous exploitons des données d'entraînement de haute qualité, intégrons des micro-conditions informées par des scores de préférence humaine, et utilisons des couches de compression de caractéristiques pour améliorer encore la fidélité et la résolution des images. Notre modèle égale non seulement mais dépasse souvent les performances des modèles existants comme SDXL dans la génération d'images de haute qualité et haute résolution. Des expériences approfondies valident les capacités de Meissonic, démontrant son potentiel en tant que nouvelle norme dans la synthèse texte-vers-image. Nous mettons à disposition un point de contrôle de modèle capable de produire des images en résolution 1024 fois 1024.

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.