TokenFlow: Tokenizador de Imagens Unificado para Compreensão e Geração Multimodal

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Autores: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Resumo

Apresentamos o TokenFlow, um novo tokenizador de imagem unificado que preenche a lacuna de longa data entre compreensão e geração multimodal. Pesquisas anteriores tentaram empregar um único codificador de Quantização Vetorial (VQ) direcionado para reconstrução para unificar essas duas tarefas. Observamos que compreensão e geração requerem granularidades de informação visual fundamentalmente diferentes. Isso resulta em um trade-off crítico, comprometendo especialmente o desempenho em tarefas de compreensão multimodal. O TokenFlow aborda esse desafio por meio de uma arquitetura inovadora de duplo livro de códigos que desvincula o aprendizado de recursos semânticos e de nível de pixel, mantendo sua alinhamento por meio de um mecanismo de mapeamento compartilhado. Esse design permite acesso direto a representações semânticas de alto nível cruciais para tarefas de compreensão e recursos visuais detalhados essenciais para geração por meio de índices compartilhados. Nossos extensos experimentos demonstram a superioridade do TokenFlow em várias dimensões. Alavancando o TokenFlow, demonstramos pela primeira vez que a entrada visual discreta pode superar o LLaVA-1.5 13B em desempenho de compreensão, alcançando uma melhoria média de 7,2\%. Para reconstrução de imagem, alcançamos um forte escore FID de 0,63 em resolução de 384*384. Além disso, o TokenFlow estabelece um desempenho de ponta na geração de imagem autoregressiva com um escore GenEval de 0,55 em resolução de 256*256, alcançando resultados comparáveis ao SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.