TokenFlow: Einheitlicher Bild-Tokenisierer für multimodales Verstehen und Generierung

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Autoren: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Zusammenfassung

Wir präsentieren TokenFlow, einen innovativen vereinheitlichten Bild-Tokenizer, der die langjährige Kluft zwischen multimodalem Verständnis und Generierung überbrückt. Frühere Forschungsversuche zielen darauf ab, einen einzigen auf Rekonstruktion ausgerichteten Vektorquantisierungs (VQ)-Encoder zur Vereinheitlichung dieser beiden Aufgaben einzusetzen. Wir stellen fest, dass Verständnis und Generierung grundsätzlich unterschiedliche Feinheiten visueller Informationen erfordern. Dies führt zu einem entscheidenden Kompromiss, der insbesondere die Leistung bei multimodalen Verständnisaufgaben beeinträchtigt. TokenFlow begegnet dieser Herausforderung durch eine innovative Dual-Codebuch-Architektur, die das semantische und pixelgenaue Merkmalslernen entkoppelt, während sie ihre Ausrichtung über einen gemeinsamen Zuordnungsmechanismus beibehält. Dieses Design ermöglicht einen direkten Zugriff auf sowohl hochrangige semantische Repräsentationen, die für Verständnisaufgaben entscheidend sind, als auch feinkörnige visuelle Merkmale, die für die Generierung wesentlich sind, über gemeinsame Indizes. Unsere umfangreichen Experimente zeigen die Überlegenheit von TokenFlow in mehreren Dimensionen auf. Durch die Nutzung von TokenFlow zeigen wir erstmals, dass diskrete visuelle Eingaben die Leistung von LLaVA-1.5 13B im Verständnis um durchschnittlich 7,2\% übertreffen können. Für die Bildrekonstruktion erzielen wir einen starken FID-Score von 0,63 bei einer Auflösung von 384*384. Darüber hinaus etabliert TokenFlow eine Spitzenleistung in der autoregressiven Bildgenerierung mit einem GenEval-Score von 0,55 bei einer Auflösung von 256*256 und erzielt vergleichbare Ergebnisse wie SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.