FlowTok: Transição Suave entre Tokens de Texto e Imagem

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Autores: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Resumo

A ponte entre diferentes modalidades está no cerne da geração cross-modal. Enquanto abordagens convencionais tratam a modalidade de texto como um sinal de condicionamento que guia gradualmente o processo de remoção de ruído desde o ruído gaussiano até a modalidade de imagem alvo, exploramos um paradigma muito mais simples: a evolução direta entre as modalidades de texto e imagem por meio de correspondência de fluxo (flow matching). Isso requer a projeção de ambas as modalidades em um espaço latente compartilhado, o que representa um desafio significativo devido às suas representações intrinsecamente diferentes: o texto é altamente semântico e codificado como tokens 1D, enquanto as imagens são espacialmente redundantes e representadas como embeddings latentes 2D. Para resolver isso, introduzimos o FlowTok, uma estrutura minimalista que flui de forma contínua entre texto e imagens, codificando as imagens em uma representação compacta de tokens 1D. Em comparação com métodos anteriores, esse projeto reduz o tamanho do espaço latente em 3,3 vezes em uma resolução de imagem de 256, eliminando a necessidade de mecanismos complexos de condicionamento ou agendamento de ruído. Além disso, o FlowTok se estende naturalmente para a geração de imagem para texto sob a mesma formulação. Com sua arquitetura simplificada centrada em tokens 1D compactos, o FlowTok é altamente eficiente em termos de memória, requer significativamente menos recursos de treinamento e alcança velocidades de amostragem muito mais rápidas — tudo isso enquanto oferece desempenho comparável aos modelos state-of-the-art. O código estará disponível em https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.