TokenFlow: Verenigde Afbeeldingstokenizer voor Multimodale Begrip en Generatie

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Auteurs: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Samenvatting

We presenteren TokenFlow, een nieuwe verenigde beeldtokenizer die de lang bestaande kloof tussen multimodale begrip en generatie overbrugt. Eerdere onderzoeken hebben geprobeerd om een enkele reconstructiegerichte Vector Quantization (VQ) encoder in te zetten om deze twee taken te verenigen. We constateren dat begrip en generatie fundamenteel verschillende granulariteiten van visuele informatie vereisen. Dit leidt tot een kritische afweging, waarbij met name de prestaties bij multimodale begripstaken in het gedrang komen. TokenFlow pakt deze uitdaging aan door middel van een innovatieve dubbele codeboekarchitectuur die semantisch en pixelniveau kenmerkleren ontkoppelt, terwijl hun uitlijning wordt behouden via een gedeeld toewijzingsmechanisme. Deze ontwerp maakt directe toegang mogelijk tot zowel hoog-niveau semantische representaties die cruciaal zijn voor begriptaken als fijnkorrelige visuele kenmerken die essentieel zijn voor generatie via gedeelde indices. Onze uitgebreide experimenten tonen de superioriteit van TokenFlow op meerdere dimensies aan. Door gebruik te maken van TokenFlow tonen we voor het eerst aan dat discrete visuele invoer de prestaties van LLaVA-1.5 13B in begrip overtreft, met een gemiddelde verbetering van 7,2%. Voor beeldreconstructie behalen we een sterke FID-score van 0,63 bij een resolutie van 384*384. Bovendien vestigt TokenFlow een state-of-the-art prestatie in autoregressieve beeldgeneratie met een GenEval-score van 0,55 bij een resolutie van 256*256, vergelijkbare resultaten behalend als SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.