ILLUME+: Vereinheitlichtes MLLM mit dualer visueller Tokenisierung und Diffusionsverfeinerung beleuchten

ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

April 2, 2025

Autoren: Runhui Huang, Chunwei Wang, Junwei Yang, Guansong Lu, Yunlong Yuan, Jianhua Han, Lu Hou, Wei Zhang, Lanqing Hong, Hengshuang Zhao, Hang Xu

cs.AI

Zusammenfassung

Wir präsentieren ILLUME+, das eine duale visuelle Tokenisierung und einen Diffusions-Decoder nutzt, um sowohl das tiefe semantische Verständnis als auch die hochwertige Bildgenerierung zu verbessern. Bestehende einheitliche Modelle hatten Schwierigkeiten, die drei grundlegenden Fähigkeiten in einem einzigen Modell gleichzeitig zu bewältigen: Verständnis, Generierung und Bearbeitung. Modelle wie Chameleon und EMU3 verwenden VQGAN für die Bilddiskretisierung, doch aufgrund des Mangels an tiefgreifender semantischer Interaktion bleiben sie in visuellen Verständnisaufgaben hinter spezialisierten Modellen wie LLaVA zurück. Um dies zu mildern, setzen LaViT und ILLUME semantische Encoder für die Tokenisierung ein, kämpfen jedoch mit der Bildbearbeitung aufgrund schlechter Texturerhaltung. Unterdessen entkoppelt die Janus-Serie die Eingabe- und Ausgabebilddarstellung, was ihre Fähigkeiten einschränkt, verschränktes Bild-Text-Verständnis und -Generierung nahtlos zu handhaben. Im Gegensatz dazu führt ILLUME+ einen einheitlichen dualen visuellen Tokenizer, DualViTok, ein, der sowohl fein abgestufte Texturen als auch textausgerichtete Semantik bewahrt und dabei eine grob-zu-fein Bilddarstellungsstrategie für multimodales Verständnis und Generierung ermöglicht. Zusätzlich verwenden wir ein Diffusionsmodell als Bild-Detokenizer, um die Generierungsqualität zu verbessern und effiziente Super-Resolution zu ermöglichen. ILLUME+ folgt einem kontinuierlichen Eingabe-, diskreten Ausgabeschema innerhalb des einheitlichen MLLM und übernimmt ein progressives Trainingsverfahren, das dynamische Auflösung über den Vision-Tokenizer, MLLM und Diffusions-Decoder hinweg unterstützt. Dieses Design ermöglicht flexible und effiziente kontextbewusste Bildbearbeitung und -generierung über diverse Aufgaben hinweg. ILLUME+ (3B) zeigt eine wettbewerbsfähige Leistung im Vergleich zu bestehenden einheitlichen MLLMs und spezialisierten Modellen in multimodalen Verständnis-, Generierungs- und Bearbeitungsbenchmarks. Mit seiner starken Leistung bietet ILLUME+ eine skalierbare und vielseitige Grundlage für zukünftige multimodale Anwendungen. Projektseite: https://illume-unified-mllm.github.io/.

English

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.