Мейссоник: Возрождение Маскированных Генеративных Трансформеров для Эффективного Синтеза Текста в Изображение Высокого Разрешения

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis

October 10, 2024

Авторы: Jinbin Bai, Tian Ye, Wei Chow, Enxin Song, Qing-Guo Chen, Xiangtai Li, Zhen Dong, Lei Zhu, Shuicheng Yan

cs.AI

Аннотация

Модели диффузии, такие как Устойчивая Диффузия, сделали значительные успехи в области визуальной генерации, однако их парадигма остается фундаментально отличной от авторегрессионных языковых моделей, что затрудняет разработку объединенных моделей языка и зрения. Недавние усилия, такие как LlamaGen, предприняли попытку авторегрессионной генерации изображений с использованием дискретных токенов VQVAE, однако большое количество токенов делает этот подход неэффективным и медленным. В данной работе мы представляем Meissonic, который поднимает моделирование изображений с маскировкой без авторегрессии (MIM) текст-в-изображение на уровень, сопоставимый с передовыми моделями диффузии, такими как SDXL. Путем внедрения обширного набора архитектурных инноваций, продвинутых стратегий позиционного кодирования и оптимизированных условий выборки, Meissonic существенно улучшает производительность и эффективность MIM. Кроме того, мы используем высококачественные обучающие данные, интегрируем микро-условия, основанные на оценках предпочтений человека, и применяем слои сжатия признаков для дальнейшего улучшения достоверности и разрешения изображений. Наша модель не только соответствует, но часто превосходит производительность существующих моделей, таких как SDXL, в генерации высококачественных изображений высокого разрешения. Обширные эксперименты подтверждают возможности Meissonic, демонстрируя его потенциал как нового стандарта в синтезе текста в изображение. Мы выпускаем контрольную точку модели, способную создавать изображения разрешением 1024 на 1024 пикселя.

English

Diffusion models, such as Stable Diffusion, have made significant strides in visual generation, yet their paradigm remains fundamentally different from autoregressive language models, complicating the development of unified language-vision models. Recent efforts like LlamaGen have attempted autoregressive image generation using discrete VQVAE tokens, but the large number of tokens involved renders this approach inefficient and slow. In this work, we present Meissonic, which elevates non-autoregressive masked image modeling (MIM) text-to-image to a level comparable with state-of-the-art diffusion models like SDXL. By incorporating a comprehensive suite of architectural innovations, advanced positional encoding strategies, and optimized sampling conditions, Meissonic substantially improves MIM's performance and efficiency. Additionally, we leverage high-quality training data, integrate micro-conditions informed by human preference scores, and employ feature compression layers to further enhance image fidelity and resolution. Our model not only matches but often exceeds the performance of existing models like SDXL in generating high-quality, high-resolution images. Extensive experiments validate Meissonic's capabilities, demonstrating its potential as a new standard in text-to-image synthesis. We release a model checkpoint capable of producing 1024 times 1024 resolution images.