Communicatie-geïnspireerde tokenisatie voor gestructureerde beeldrepresentaties
Communication-Inspired Tokenization for Structured Image Representations
February 24, 2026
Auteurs: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro
cs.AI
Samenvatting
Discrete beeld-tokenizers zijn naar voren gekomen als een cruciaal onderdeel van moderne visuele en multimodale systemen, waarbij ze een sequentiële interface bieden voor op transformers gebaseerde architecturen. De meeste bestaande benaderingen blijven echter voornamelijk geoptimaliseerd voor reconstructie en compressie, wat vaak tokens oplevert die lokale textuur vastleggen in plaats van semantische structuur op objectniveau. Geïnspireerd door het incrementele en compositionele karakter van menselijke communicatie, introduceren wij COMmunication inspired Tokenization (COMiT), een raamwerk voor het leren van gestructureerde discrete visuele tokenreeksen. COMiT construeert een latent bericht binnen een vast tokenbudget door iteratief gelokaliseerde beelduitsneden te observeren en zijn discrete representatie recurrent bij te werken. Bij elke stap integreert het model nieuwe visuele informatie terwijl het de bestaande tokenreeks verfijnt en reorganiseert. Na verschillende encoderingsiteraties conditioneert het uiteindelijke bericht een flow-matching decoder die het volledige beeld reconstrueert. Zowel codering als decodering worden geïmplementeerd binnen een enkel transformer-model en end-to-end getraind met een combinatie van flow-matching reconstructie- en semantische representatie-alignmentverliezen. Onze experimenten tonen aan dat, hoewel semantische alignment voor grounding zorgt, aandachtige sequentiële tokenisering cruciaal is voor het induceren van een interpreteerbare, objectgerichte tokenstructuur en voor een substantiële verbetering van compositionele generalisatie en relationeel redeneren ten opzichte van eerdere methoden.
English
Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.