Meissonic: Belebung von Maskierten Generativen Transformatoren für effiziente hochauflösende Text-zu-Bild-Synthese

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

Autoren: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

Zusammenfassung

Diffusionsmodelle wie die stabile Diffusion haben bedeutende Fortschritte bei der visuellen Generierung gemacht, doch ihr Paradigma unterscheidet sich grundlegend von autoregressiven Sprachmodellen, was die Entwicklung vereinheitlichter Sprach-Vision-Modelle erschwert. Aktuelle Bemühungen wie LlamaGen haben versucht, autoregressive Bildgenerierung unter Verwendung diskreter VQVAE-Token umzusetzen, doch die große Anzahl an Token macht diesen Ansatz ineffizient und langsam. In dieser Arbeit präsentieren wir Meissonic, das die nicht-autoregressive maskierte Bildmodellierung (MIM) Text-zu-Bild auf ein Niveau hebt, das mit modernsten Diffusionsmodellen wie SDXL vergleichbar ist. Durch die Integration einer umfassenden Reihe von architektonischen Innovationen, fortschrittlichen Positionscodierungsstrategien und optimierten Abtastbedingungen verbessert Meissonic nachhaltig die Leistung und Effizienz von MIM. Darüber hinaus nutzen wir hochwertige Trainingsdaten, integrieren mikrobedingte Informationen basierend auf menschlichen Präferenzbewertungen und verwenden Merkmalskompressionschichten, um die Bildtreue und -auflösung weiter zu verbessern. Unser Modell erreicht nicht nur, sondern übertrifft oft die Leistung bestehender Modelle wie SDXL bei der Generierung hochwertiger, hochauflösender Bilder. Umfangreiche Experimente bestätigen die Fähigkeiten von Meissonic und zeigen sein Potenzial als neuer Standard in der Text-zu-Bild-Synthese. Wir veröffentlichen einen Modell-Checkpoint, der in der Lage ist, Bilder mit einer Auflösung von 1024 mal 1024 zu erzeugen.

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.