Meissonic: Rivitalizzazione dei Generative Transformers Mascherati per una Sintesi Testo-Immagine ad Alta Risoluzione Efficiente

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

Autori: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

Abstract

I modelli di diffusione, come la Diffusione Stabile, hanno compiuto progressi significativi nella generazione visuale, tuttavia il loro paradigma rimane fondamentalmente diverso dai modelli linguistici autoregressivi, complicando lo sviluppo di modelli unificati di lingua e visione. Gli sforzi recenti come LlamaGen hanno tentato la generazione di immagini autoregressive utilizzando token discreti VQVAE, ma il grande numero di token coinvolti rende questo approccio inefficiente e lento. In questo lavoro, presentiamo Meissonic, che porta la modellazione di immagini mascherate non autoregressive (MIM) testo-immagine a un livello paragonabile ai modelli di diffusione all'avanguardia come SDXL. Integrando una vasta gamma di innovazioni architetturali, strategie avanzate di codifica posizionale e condizioni di campionamento ottimizzate, Meissonic migliora notevolmente le prestazioni e l'efficienza di MIM. Inoltre, sfruttiamo dati di addestramento di alta qualità, integriamo micro-condizioni informate dai punteggi di preferenza umana e utilizziamo strati di compressione delle caratteristiche per migliorare ulteriormente la fedeltà e la risoluzione delle immagini. Il nostro modello non solo eguaglia, ma spesso supera le prestazioni dei modelli esistenti come SDXL nella generazione di immagini di alta qualità e ad alta risoluzione. Esperimenti approfonditi convalidano le capacità di Meissonic, dimostrando il suo potenziale come nuovo standard nella sintesi testo-immagine. Rilasciamo un checkpoint del modello in grado di produrre immagini ad alta risoluzione di 1024 per 1024 pixel.

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.