TokenFlow: Унифицированный образный токенизатор для мультимодального понимания и генерации

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Авторы: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Аннотация

Мы представляем TokenFlow, новаторский объединенный изображенческий токенизатор, который сокращает давнюю пропасть между мультимодальным пониманием и генерацией. Предыдущие исследования пытались использовать один кодировщик векторного квантования (VQ), ориентированный на реконструкцию, для объединения этих двух задач. Мы замечаем, что для понимания и генерации требуются фундаментально разные уровни детализации визуальной информации. Это приводит к критическому компромиссу, особенно ущемляющему производительность в задачах мультимодального понимания. TokenFlow решает эту проблему через инновационную архитектуру с двумя кодовыми книгами, разделяющую обучение семантических и пиксельных признаков, сохраняя их соответствие через общий механизм отображения. Этот дизайн обеспечивает прямой доступ как к высокоуровневым семантическим представлениям, важным для задач понимания, так и к мелкозернистым визуальным признакам, необходимым для генерации, через общие индексы. Наши обширные эксперименты демонстрируют превосходство TokenFlow в различных аспектах. Используя TokenFlow, мы впервые показываем, что дискретный визуальный ввод может превзойти LLaVA-1.5 13B в показателях понимания, достигая среднего улучшения в 7,2\%. Для реконструкции изображений мы достигаем высокого показателя FID в 0,63 при разрешении 384*384. Более того, TokenFlow устанавливает современные стандарты в производительности авторегрессивной генерации изображений с показателем GenEval в 0,55 при разрешении 256*256, достигая сравнимых результатов с SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.