FlowTok: Naadloos bewegen tussen tekst- en beeldtokens

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Auteurs: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Samenvatting

Het overbruggen van verschillende modaliteiten staat centraal bij cross-modaliteit generatie. Terwijl conventionele benaderingen de tekstmodaliteit behandelen als een conditionerend signaal dat geleidelijk het denoising-proces begeleidt van Gaussische ruis naar de doel- beeldmodaliteit, verkennen wij een veel eenvoudiger paradigma: directe evolutie tussen tekst- en beeldmodaliteiten door middel van flow matching. Hiervoor is het nodig om beide modaliteiten te projecteren in een gedeelde latente ruimte, wat een aanzienlijke uitdaging vormt vanwege hun inherent verschillende representaties: tekst is zeer semantisch en gecodeerd als 1D-tokens, terwijl beelden ruimtelijk redundant zijn en worden weergegeven als 2D latente embeddings. Om dit aan te pakken introduceren wij FlowTok, een minimaal framework dat naadloos stroomt tussen tekst en beelden door beelden te coderen in een compacte 1D-tokenrepresentatie. Vergeleken met eerdere methoden reduceert dit ontwerp de grootte van de latente ruimte met 3,3x bij een beeldresolutie van 256, waardoor complexe conditioneringmechanismen of ruisschedulering overbodig worden. Bovendien breidt FlowTok zich natuurlijk uit naar beeld-naar-tekst generatie onder dezelfde formulering. Met zijn gestroomlijnde architectuur die draait om compacte 1D- tokens, is FlowTok zeer geheugenefficiënt, vereist het aanzienlijk minder trainingsbronnen, en bereikt het veel snellere sampling-snelheden—terwijl het prestaties levert die vergelijkbaar zijn met state-of-the-art modellen. Code zal beschikbaar zijn op https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.