FlowTok: Бесшовное взаимодействие текстовых и визуальных токенов

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Авторы: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Аннотация

Объединение различных модальностей лежит в основе кросс-модальной генерации. В то время как традиционные подходы рассматривают текстовую модальность как управляющий сигнал, который постепенно направляет процесс удаления шума от гауссовского шума к целевой изображенческой модальности, мы исследуем более простую парадигму — прямое преобразование между текстовой и изображенческой модальностями с помощью flow matching. Это требует проекции обеих модальностей в общее латентное пространство, что представляет собой значительную сложность из-за их принципиально разных представлений: текст является высоко семантическим и кодируется как 1D-токены, тогда как изображения обладают пространственной избыточностью и представлены как 2D-латентные эмбеддинги. Для решения этой проблемы мы представляем FlowTok — минималистичную структуру, которая плавно преобразует текст и изображения, кодируя изображения в компактное 1D-токеновое представление. По сравнению с предыдущими методами, этот подход уменьшает размер латентного пространства в 3,3 раза при разрешении изображения 256, устраняя необходимость в сложных механизмах управления или планировании шума. Более того, FlowTok естественным образом расширяется до генерации текста из изображений в рамках той же формулировки. Благодаря своей оптимизированной архитектуре, основанной на компактных 1D-токенах, FlowTok обладает высокой эффективностью использования памяти, требует значительно меньше ресурсов для обучения и обеспечивает гораздо более высокую скорость генерации — всё это при сохранении производительности, сопоставимой с современными моделями. Код будет доступен по адресу https://github.com/bytedance/1d-tokenizer.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.