Meissonic: Het nieuw leven inblazen van Gemaskeerde Generatieve Transformatoren voor Efficiënte Hoogwaardige Tekst-naar-Afbeelding Synthese

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

Auteurs: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

Samenvatting

Diffusiemodellen, zoals Stabiele Diffusie, hebben aanzienlijke vooruitgang geboekt in visuele generatie, maar hun paradigma blijft fundamenteel verschillend van autoregressieve taalmodellen, wat de ontwikkeling van eenduidige taal-beeldmodellen bemoeilijkt. Recente inspanningen zoals LlamaGen hebben geprobeerd autoregressieve beeldgeneratie te gebruiken met discrete VQVAE-tokens, maar het grote aantal betrokken tokens maakt deze aanpak inefficiënt en traag. In dit werk presenteren we Meissonic, dat niet-autoregressieve gemaskeerde beeldmodellering (MIM) tekst-naar-beeld naar een niveau tilt dat vergelijkbaar is met state-of-the-art diffusiemodellen zoals SDXL. Door een uitgebreide reeks architectonische innovaties, geavanceerde positionele coderingsstrategieën en geoptimaliseerde bemonsteringscondities op te nemen, verbetert Meissonic aanzienlijk de prestaties en efficiëntie van MIM. Daarnaast maken we gebruik van hoogwaardige trainingsgegevens, integreren we microcondities die geïnformeerd zijn door menselijke voorkeursscores, en gebruiken we functiecompressielagen om de beeldgetrouwheid en -resolutie verder te verbeteren. Ons model evenaart niet alleen, maar overtreft vaak de prestaties van bestaande modellen zoals SDXL bij het genereren van hoogwaardige, hoogwaardige beelden. Uitgebreide experimenten bevestigen de mogelijkheden van Meissonic en tonen zijn potentieel als nieuwe standaard in tekst-naar-beeldsynthese. We stellen een modelcheckpoint beschikbaar dat in staat is om beelden met een resolutie van 1024 bij 1024 pixels te produceren.

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.