TokenFlow: Tokenizador de Imágenes Unificado para Comprensión y Generación Multimodal

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Autores: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Resumen

Presentamos TokenFlow, un novedoso tokenizador de imágenes unificado que aborda la brecha de larga data entre la comprensión y generación multimodal. Investigaciones previas intentaron emplear un codificador de Cuantificación Vectorial (VQ) dirigido a la reconstrucción para unificar estas dos tareas. Observamos que la comprensión y generación requieren granularidades de información visual fundamentalmente diferentes. Esto conlleva a un compromiso crítico, especialmente comprometiendo el rendimiento en tareas de comprensión multimodal. TokenFlow aborda este desafío a través de una innovadora arquitectura de doble libro de códigos que desacopla el aprendizaje de características semánticas y a nivel de píxeles mientras mantiene su alineación mediante un mecanismo de mapeo compartido. Este diseño permite acceso directo tanto a representaciones semánticas de alto nivel cruciales para tareas de comprensión como a características visuales detalladas esenciales para la generación a través de índices compartidos. Nuestros extensos experimentos demuestran la superioridad de TokenFlow en múltiples dimensiones. Aprovechando TokenFlow, demostramos por primera vez que la entrada visual discreta puede superar a LLaVA-1.5 13B en rendimiento de comprensión, logrando una mejora promedio del 7.2\%. Para la reconstrucción de imágenes, alcanzamos un sólido puntaje FID de 0.63 en una resolución de 384*384. Además, TokenFlow establece un rendimiento de vanguardia en generación de imágenes autoregresivas con un puntaje GenEval de 0.55 en una resolución de 256*256, logrando resultados comparables a SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.