FlowTok : Une transition fluide entre les jetons texte et image

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Auteurs: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Résumé

La jonction entre différentes modalités est au cœur de la génération inter-modale. Alors que les approches conventionnelles traitent la modalité texte comme un signal de conditionnement qui guide progressivement le processus de débruitage du bruit gaussien vers la modalité image cible, nous explorons un paradigme bien plus simple : évoluer directement entre les modalités texte et image via le flow matching. Cela nécessite de projeter les deux modalités dans un espace latent partagé, ce qui représente un défi majeur en raison de leurs représentations intrinsèquement différentes : le texte est hautement sémantique et encodé en tokens 1D, tandis que les images sont spatialement redondantes et représentées par des embeddings latents 2D. Pour résoudre ce problème, nous introduisons FlowTok, un cadre minimaliste qui circule de manière fluide entre le texte et les images en encodant les images en une représentation compacte de tokens 1D. Par rapport aux méthodes précédentes, cette conception réduit la taille de l'espace latent par un facteur de 3,3 à une résolution d'image de 256, éliminant ainsi le besoin de mécanismes de conditionnement complexes ou de planification du bruit. De plus, FlowTok s'étend naturellement à la génération d'image-à-texte sous la même formulation. Avec son architecture rationalisée centrée sur des tokens 1D compacts, FlowTok est hautement économe en mémoire, nécessite beaucoup moins de ressources d'entraînement et atteint des vitesses d'échantillonnage bien plus rapides, tout en offrant des performances comparables aux modèles de pointe. Le code sera disponible à l'adresse https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.