Kommunikationsinspirierte Tokenisierung für strukturierte Bildrepräsentationen

Communication-Inspired Tokenization for Structured Image Representations

February 24, 2026

Autoren: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

cs.AI

Zusammenfassung

Diskrete Bild-Tokenizer haben sich als Schlüsselkomponente moderner visueller und multimodaler Systeme etabliert, da sie eine sequenzielle Schnittstelle für transformerbasierte Architekturen bereitstellen. Die meisten bestehenden Ansätze sind jedoch primär auf Rekonstruktion und Kompression optimiert und erzeugen oft Tokens, die lokale Texturen anstelle einer objektbasierten semantischen Struktur erfassen. Inspiriert von der inkrementellen und kompositionellen Natur menschlicher Kommunikation führen wir COMmunication inspired Tokenization (COMiT) ein, ein Framework zum Erlernen strukturierter diskreter visueller Token-Sequenzen. COMiT konstruiert eine latente Nachricht innerhalb eines festen Token-Budgets, indem es iterativ lokalisierte Bildausschnitte betrachtet und seine diskrete Repräsentation rekurrent aktualisiert. In jedem Schritt integriert das Modell neue visuelle Informationen und verfeinert sowie reorganisiert gleichzeitig die bestehende Token-Sequenz. Nach mehreren Encodierungs-Iterationen konditioniert die finale Nachricht einen Flow-Matching-Decoder, der das vollständige Bild rekonstruiert. Sowohl Encodierung als auch Decodierung werden innerhalb eines einzigen Transformer-Modells implementiert und end-to-end unter Verwendung einer Kombination aus Flow-Matching-Rekonstruktions- und semantischen Repräsentations-Alignment-Verlustfunktionen trainiert. Unsere Experimente zeigen, dass semantisches Alignment zwar eine Grundlage bietet, eine aufmerksamkeitsgesteuerte sequenzielle Tokenisierung jedoch entscheidend ist, um interpretierbare, objektzentrierte Token-Strukturen zu induzieren und die kompositionelle Generalisierung sowie das relationale Schließen im Vergleich zu früheren Methoden erheblich zu verbessern.

English

Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.