ILLUME+: デュアル視覚トークン化と拡散精緻化による統一MLLMの照明

ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

April 2, 2025

著者: Runhui Huang, Chunwei Wang, Junwei Yang, Guansong Lu, Yunlong Yuan, Jianhua Han, Lu Hou, Wei Zhang, Lanqing Hong, Hengshuang Zhao, Hang Xu

cs.AI

要旨

我々は、深層的な意味理解と高精細な画像生成の両方を改善するために、デュアル視覚トークン化と拡散デコーダを活用するILLUME+を提案します。既存の統合モデルは、理解、生成、編集という3つの基本的な能力を同時に扱うことに苦戦してきました。ChameleonやEMU3のようなモデルは、VQGANを画像の離散化に利用していますが、深層的な意味的相互作用の欠如により、LLaVAのような専門モデルに比べて視覚理解タスクで遅れを取っています。これを緩和するために、LaViTやILLUMEは意味エンコーダをトークン化に使用していますが、テクスチャの保存が不十分なため、画像編集に苦戦しています。一方、Janusシリーズは入力と出力の画像表現を分離しているため、インタリーブされた画像とテキストの理解と生成をシームレスに処理する能力が制限されています。対照的に、ILLUME+は、細かいテクスチャとテキストに沿った意味の両方を保存し、マルチモーダル理解と生成のための粗から細かい画像表現戦略を可能にする統合デュアル視覚トークナイザー、DualViTokを導入します。さらに、生成品質の向上と効率的な超解像のために、拡散モデルを画像デトークナイザーとして採用しています。ILLUME+は、統合MLLM内で連続入力、離散出力のスキームを採用し、視覚トークナイザー、MLLM、拡散デコーダ全体で動的解像度をサポートする段階的なトレーニング手順を採用しています。この設計により、多様なタスクにわたる柔軟で効率的なコンテキスト認識型の画像編集と生成が可能になります。ILLUME+（3B）は、マルチモーダル理解、生成、編集のベンチマークにおいて、既存の統合MLLMや専門モデルに対して競争力のあるパフォーマンスを示しています。その強力なパフォーマンスにより、ILLUME+は将来のマルチモーダルアプリケーションのためのスケーラブルで汎用的な基盤を提供します。プロジェクトページ: https://illume-unified-mllm.github.io/。

English

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.