ILLUME+: Iluminando MLLM Unificado com Tokenização Visual Dupla e Refinamento por Difusão

ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

April 2, 2025

Autores: Runhui Huang, Chunwei Wang, Junwei Yang, Guansong Lu, Yunlong Yuan, Jianhua Han, Lu Hou, Wei Zhang, Lanqing Hong, Hengshuang Zhao, Hang Xu

cs.AI

Resumo

Apresentamos o ILLUME+, que aproveita a tokenização visual dual e um decodificador de difusão para melhorar tanto a compreensão semântica profunda quanto a geração de imagens de alta fidelidade. Modelos unificados existentes têm enfrentado dificuldades para lidar simultaneamente com as três capacidades fundamentais em um modelo unificado: compreensão, geração e edição. Modelos como Chameleon e EMU3 utilizam VQGAN para discretização de imagens, mas, devido à falta de interação semântica profunda, ficam atrás de modelos especializados como LLaVA em tarefas de compreensão visual. Para mitigar isso, LaViT e ILLUME empregam codificadores semânticos para tokenização, mas enfrentam desafios na edição de imagens devido à preservação inadequada de texturas. Enquanto isso, a série Janus desacopla a representação de entrada e saída de imagens, limitando suas habilidades para lidar de forma contínua com a compreensão e geração intercalada de texto e imagem. Em contraste, o ILLUME+ introduz um tokenizador visual dual unificado, DualViTok, que preserva tanto texturas refinadas quanto semânticas alinhadas ao texto, ao mesmo tempo que habilita uma estratégia de representação de imagem de grosseira para refinada para compreensão e geração multimodal. Além disso, empregamos um modelo de difusão como detokenizador de imagem para melhorar a qualidade de geração e permitir super-resolução eficiente. O ILLUME+ segue um esquema de entrada contínua e saída discreta dentro do MLLM unificado e adota um procedimento de treinamento progressivo que suporta resolução dinâmica em todo o tokenizador visual, MLLM e decodificador de difusão. Esse design permite edição e geração de imagens contextualmente flexíveis e eficientes em diversas tarefas. O ILLUME+ (3B) exibe desempenho competitivo em comparação com MLLMs unificados existentes e modelos especializados em benchmarks de compreensão, geração e edição multimodal. Com seu forte desempenho, o ILLUME+ fornece uma base escalável e versátil para futuras aplicações multimodais. Página do Projeto: https://illume-unified-mllm.github.io/.

English

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.