FlowTok: Fluyendo sin problemas entre tokens de texto e imagen

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Autores: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Resumen

La conexión entre diferentes modalidades se encuentra en el núcleo de la generación multimodal. Mientras que los enfoques convencionales tratan la modalidad de texto como una señal de condicionamiento que guía gradualmente el proceso de eliminación de ruido desde el ruido gaussiano hasta la modalidad de imagen objetivo, exploramos un paradigma mucho más simple: la evolución directa entre las modalidades de texto e imagen mediante el emparejamiento de flujos. Esto requiere proyectar ambas modalidades en un espacio latente compartido, lo cual representa un desafío significativo debido a sus representaciones inherentemente diferentes: el texto es altamente semántico y se codifica como tokens unidimensionales (1D), mientras que las imágenes son espacialmente redundantes y se representan como incrustaciones latentes bidimensionales (2D). Para abordar esto, presentamos FlowTok, un marco minimalista que fluye sin problemas entre texto e imágenes al codificar las imágenes en una representación compacta de tokens 1D. En comparación con métodos anteriores, este diseño reduce el tamaño del espacio latente en 3.3 veces para una resolución de imagen de 256, eliminando la necesidad de mecanismos de condicionamiento complejos o programación de ruido. Además, FlowTok se extiende naturalmente a la generación de texto a partir de imágenes bajo la misma formulación. Con su arquitectura simplificada centrada en tokens 1D compactos, FlowTok es altamente eficiente en memoria, requiere significativamente menos recursos de entrenamiento y logra velocidades de muestreo mucho más rápidas, todo ello mientras ofrece un rendimiento comparable a los modelos más avanzados. El código estará disponible en https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.