ILLUME+ : Illumination d'un MLLM unifié avec double tokenisation visuelle et raffinement par diffusion

ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

April 2, 2025

Auteurs: Runhui Huang, Chunwei Wang, Junwei Yang, Guansong Lu, Yunlong Yuan, Jianhua Han, Lu Hou, Wei Zhang, Lanqing Hong, Hengshuang Zhao, Hang Xu

cs.AI

Résumé

Nous présentons ILLUME+, qui exploite une double tokenisation visuelle et un décodeur de diffusion pour améliorer à la fois la compréhension sémantique profonde et la génération d'images haute fidélité. Les modèles unifiés existants ont eu du mal à gérer simultanément les trois capacités fondamentales dans un modèle unifié : compréhension, génération et édition. Des modèles comme Chameleon et EMU3 utilisent VQGAN pour la discrétisation d'images, mais en raison du manque d'interaction sémantique profonde, ils sont à la traîne par rapport aux modèles spécialisés comme LLaVA dans les tâches de compréhension visuelle. Pour remédier à cela, LaViT et ILLUME emploient des encodeurs sémantiques pour la tokenisation, mais ils peinent à préserver les textures lors de l'édition d'images. Par ailleurs, la série Janus découple la représentation des images en entrée et en sortie, limitant ainsi leur capacité à gérer de manière fluide la compréhension et la génération intercalées d'images et de texte. En revanche, ILLUME+ introduit un tokeniseur visuel dual unifié, DualViTok, qui préserve à la fois les textures fines et la sémantique alignée sur le texte, tout en permettant une stratégie de représentation d'images du grossier au fin pour la compréhension et la génération multimodales. De plus, nous utilisons un modèle de diffusion comme détokeniseur d'images pour améliorer la qualité de génération et permettre une super-résolution efficace. ILLUME+ suit un schéma d'entrée continue et de sortie discrète au sein du MLLM unifié et adopte une procédure d'entraînement progressive qui supporte une résolution dynamique à travers le tokeniseur visuel, le MLLM et le décodeur de diffusion. Cette conception permet une édition et une génération d'images flexibles et efficaces, adaptées au contexte, pour diverses tâches. ILLUME+ (3B) démontre des performances compétitives par rapport aux MLLMs unifiés existants et aux modèles spécialisés sur des benchmarks de compréhension, génération et édition multimodales. Avec ses performances solides, ILLUME+ fournit une base scalable et polyvalente pour les futures applications multimodales. Page du projet : https://illume-unified-mllm.github.io/.

English

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.