FlowTok: Scorrimento fluido tra token di testo e immagini

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Autori: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Abstract

Collegare diverse modalità è al centro della generazione cross-modale. Mentre gli approcci convenzionali trattano la modalità testuale come un segnale di condizionamento che guida gradualmente il processo di denoising dal rumore gaussiano alla modalità immagine target, noi esploriamo un paradigma molto più semplice: evolvere direttamente tra le modalità testo e immagine attraverso il flow matching. Ciò richiede la proiezione di entrambe le modalità in uno spazio latente condiviso, che rappresenta una sfida significativa a causa delle loro rappresentazioni intrinsecamente diverse: il testo è altamente semantico e codificato come token 1D, mentre le immagini sono ridondanti spazialmente e rappresentate come embedding latenti 2D. Per affrontare questo problema, introduciamo FlowTok, un framework minimale che scorre senza soluzione di continuità tra testo e immagini codificando le immagini in una rappresentazione compatta di token 1D. Rispetto ai metodi precedenti, questo design riduce la dimensione dello spazio latente di 3,3 volte a una risoluzione dell'immagine di 256, eliminando la necessità di meccanismi di condizionamento complessi o di schedulazione del rumore. Inoltre, FlowTok si estende naturalmente alla generazione da immagine a testo sotto la stessa formulazione. Con la sua architettura snella incentrata su token 1D compatti, FlowTok è altamente efficiente in termini di memoria, richiede significativamente meno risorse di addestramento e raggiunge velocità di campionamento molto più elevate, tutto ciò mantenendo prestazioni comparabili ai modelli all'avanguardia. Il codice sarà disponibile su https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.