TokenFlow : Tokeniseur d'Images Unifié pour la Compréhension et la Génération Multimodales

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Auteurs: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Résumé

Nous présentons TokenFlow, un nouveau tokeniseur d'images unifié qui comble le fossé de longue date entre la compréhension multimodale et la génération. Les recherches antérieures ont tenté d'utiliser un encodeur de quantification vectorielle (VQ) ciblé sur la reconstruction pour unifier ces deux tâches. Nous observons que la compréhension et la génération nécessitent des granularités d'informations visuelles fondamentalement différentes. Cela entraîne un compromis critique, compromettant particulièrement les performances dans les tâches de compréhension multimodale. TokenFlow relève ce défi grâce à une architecture innovante à double codebook qui découple l'apprentissage sémantique et de niveau pixel tout en maintenant leur alignement via un mécanisme de mapping partagé. Cette conception permet un accès direct aux représentations sémantiques de haut niveau cruciales pour les tâches de compréhension et aux caractéristiques visuelles fines essentielles pour la génération à travers des indices partagés. Nos expériences approfondies démontrent la supériorité de TokenFlow sur plusieurs dimensions. En exploitant TokenFlow, nous démontrons pour la première fois qu'une entrée visuelle discrète peut surpasser LLaVA-1.5 13B en termes de performances de compréhension, avec une amélioration moyenne de 7,2\%. Pour la reconstruction d'images, nous obtenons un score FID solide de 0,63 en résolution 384*384. De plus, TokenFlow établit des performances de pointe dans la génération d'images autorégressive avec un score GenEval de 0,55 en résolution 256*256, obtenant des résultats comparables à SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.