Tokenisation inspirée par la communication pour les représentations d'images structurées

Communication-Inspired Tokenization for Structured Image Representations

February 24, 2026

Auteurs: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

cs.AI

Résumé

Les tokeniseurs d'images discrets sont devenus un composant clé des systèmes modernes de vision et multimodaux, fournissant une interface séquentielle pour les architectures basées sur des transformateurs. Cependant, la plupart des approches existantes restent principalement optimisées pour la reconstruction et la compression, produisant souvent des tokens qui capturent des textures locales plutôt qu'une structure sémantique au niveau des objets. Inspirés par la nature incrémentale et compositionnelle de la communication humaine, nous présentons COMmunication inspired Tokenization (COMiT), un cadre d'apprentissage pour des séquences de tokens visuels discrets structurées. COMiT construit un message latent dans un budget de tokens fixe en observant itérativement des régions localisées de l'image et en mettant à jour de manière récurrente sa représentation discrète. À chaque étape, le modèle intègre de nouvelles informations visuelles tout en affinant et réorganisant la séquence de tokens existante. Après plusieurs itérations d'encodage, le message final conditionne un décodeur à appariement de flux qui reconstruit l'image complète. L'encodage et le décodage sont implémentés au sein d'un unique modèle transformeur et entraînés de bout en bout en utilisant une combinaison de pertes de reconstruction par appariement de flux et d'alignement de représentation sémantique. Nos expériences démontrent que si l'alignement sémantique fournit un ancrage, une tokenisation séquentielle attentive est cruciale pour induire une structure de tokens interprétable et centrée sur les objets, améliorant substantiellement la généralisation compositionnelle et le raisonnement relationnel par rapport aux méthodes antérieures.

English

Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.