TokenFlow: マルチモーダル理解と生成のための統一画像トークナイザ

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

著者: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

要旨

TokenFlowは、多様な理解と生成の間の長年のギャップを埋める革新的な統合画像トークナイザを提案します。以前の研究では、理解と生成を統一するために単一の再構築を目指したベクトル量子化（VQ）エンコーダを使用しようと試みていました。しかし、理解と生成には基本的に異なる視覚情報の粒度が必要であることに気付きました。これにより、特に多様な理解タスクのパフォーマンスが損なわれるという重要なトレードオフが生じます。TokenFlowは、セマンティックとピクセルレベルの特徴学習を分離し、共有マッピングメカニズムを介してそれらの整合性を維持する革新的なデュアルコードブックアーキテクチャによってこの課題に取り組んでいます。この設計により、理解タスクに重要な高レベルのセマンティック表現と生成に不可欠な細かい視覚特徴に直接アクセスできるようになります。私たちの幅広い実験は、TokenFlowの優位性を複数の側面で示しています。TokenFlowを活用することで、初めて離散的な視覚入力が理解のパフォーマンスでLLaVA-1.5 13Bを上回り、平均7.2%の改善を達成しました。画像再構成では、384×384の解像度で強力なFIDスコア0.63を達成しました。さらに、TokenFlowは、256×256の解像度でGenEvalスコア0.55を記録し、SDXLに匹敵する結果を達成することで、自己回帰画像生成の最先端のパフォーマンスを確立しました。

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.