Tokenização Inspirada em Comunicação para Representações Estruturadas de Imagem
Communication-Inspired Tokenization for Structured Image Representations
February 24, 2026
Autores: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro
cs.AI
Resumo
Os tokenizadores discretos de imagens emergiram como um componente fundamental dos sistemas modernos de visão e multimodais, fornecendo uma interface sequencial para arquiteturas baseadas em transformers. No entanto, a maioria das abordagens existentes permanecem otimizadas principalmente para reconstrução e compressão, frequentemente produzindo tokens que capturam texturas locais em vez da estrutura semântica em nível de objeto. Inspirados pela natureza incremental e composicional da comunicação humana, introduzimos a Tokenização Inspirada em COMunicação (COMiT), uma estrutura para aprender sequências discretas de tokens visuais estruturadas. A COMiT constrói uma mensagem latente dentro de um orçamento fixo de tokens ao observar iterativamente recortes de imagem localizados e atualizar recorrentemente sua representação discreta. A cada passo, o modelo integra novas informações visuais enquanto refina e reorganiza a sequência de tokens existente. Após várias iterações de codificação, a mensagem final condiciona um decodificador de correspondência de fluxo que reconstrói a imagem completa. Tanto a codificação quanto a decodificação são implementadas dentro de um único modelo transformer e treinadas de ponta a ponta usando uma combinação de perdas de reconstrução por correspondência de fluxo e de alinhamento de representação semântica. Nossos experimentos demonstram que, embora o alinhamento semântico forneça fundamentação, a tokenização sequencial atenciosa é crítica para induzir uma estrutura de tokens interpretável e centrada em objetos, melhorando substancialmente a generalização composicional e o raciocínio relacional em relação a métodos anteriores.
English
Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.