ILLUME+: Освещение унифицированной MLLM с двойной визуальной токенизацией и диффузионным уточнением

ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

April 2, 2025

Авторы: Runhui Huang, Chunwei Wang, Junwei Yang, Guansong Lu, Yunlong Yuan, Jianhua Han, Lu Hou, Wei Zhang, Lanqing Hong, Hengshuang Zhao, Hang Xu

cs.AI

Аннотация

Мы представляем ILLUME+, который использует двойную визуальную токенизацию и диффузионный декодер для улучшения как глубокого семантического понимания, так и генерации изображений с высокой точностью. Существующие унифицированные модели сталкиваются с трудностями при одновременной реализации трех фундаментальных возможностей: понимания, генерации и редактирования. Модели, такие как Chameleon и EMU3, используют VQGAN для дискретизации изображений, но из-за недостатка глубокого семантического взаимодействия они отстают от специализированных моделей, таких как LLaVA, в задачах визуального понимания. Чтобы устранить это, LaViT и ILLUME применяют семантические кодировщики для токенизации, но они испытывают трудности с редактированием изображений из-за плохого сохранения текстур. В то же время серия Janus разделяет представление входных и выходных изображений, что ограничивает их способность плавно обрабатывать чередующиеся задачи понимания и генерации изображений и текста. В отличие от них, ILLUME+ представляет унифицированный двойной визуальный токенизатор DualViTok, который сохраняет как мелкозернистые текстуры, так и семантику, согласованную с текстом, и позволяет использовать стратегию представления изображений от грубого к детальному для многомодального понимания и генерации. Дополнительно мы используем диффузионную модель в качестве детокенизатора изображений для повышения качества генерации и эффективного супер-разрешения. ILLUME+ следует схеме непрерывного ввода и дискретного вывода в рамках унифицированной MLLM и применяет прогрессивную процедуру обучения, которая поддерживает динамическое разрешение для визуального токенизатора, MLLM и диффузионного декодера. Этот дизайн позволяет гибко и эффективно выполнять контекстно-зависимое редактирование и генерацию изображений в различных задачах. ILLUME+ (3B) демонстрирует конкурентоспособную производительность по сравнению с существующими унифицированными MLLM и специализированными моделями в многомодальных задачах понимания, генерации и редактирования. Благодаря своей высокой производительности, ILLUME+ предоставляет масштабируемую и универсальную основу для будущих многомодальных приложений. Страница проекта: https://illume-unified-mllm.github.io/.

English

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.