Коммуникационно-ориентированная токенизация для структурированных представлений изображений

Communication-Inspired Tokenization for Structured Image Representations

February 24, 2026

Авторы: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

cs.AI

Аннотация

Дискретные токенизаторы изображений стали ключевым компонентом современных систем компьютерного зрения и мультимодальных систем, предоставляя последовательный интерфейс для архитектур на основе трансформеров. Однако большинство существующих подходов остаются в основном оптимизированными для реконструкции и сжатия, часто порождая токены, которые фиксируют локальную текстуру, а не семантическую структуру на уровне объектов. Вдохновленные инкрементальной и композиционной природой человеческой коммуникации, мы представляем COMmunication inspired Tokenization (COMiT) — фреймворк для обучения структурированным дискретным последовательностям визуальных токенов. COMiT конструирует латентное сообщение в рамках фиксированного токенного бюджета, итеративно наблюдая за локализованными областями изображения и рекуррентно обновляя свое дискретное представление. На каждом шаге модель интегрирует новую визуальную информацию, одновременно уточняя и реорганизуя существующую последовательность токенов. После нескольких итераций кодирования итоговое сообщение обусловливает декодер, основанный на согласовании потоков (flow-matching), который восстанавливает полное изображение. Как кодирование, так и декодирование реализованы в рамках единой трансформер-модели и обучаются сквозным образом с использованием комбинации функций потерь на реконструкцию через согласование потоков и на выравнивание семантических представлений. Наши эксперименты демонстрируют, что хотя семантическое выравнивание обеспечивает grounding, внимательное последовательное токенизирование критически важно для формирования интерпретируемой, объектно-ориентированной токенной структуры и существенного улучшения композиционной обобщающей способности и реляционных рассуждений по сравнению с предыдущими методами.

English

Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.