Tokenización Inspirada en la Comunicación para Representaciones Estructuradas de Imágenes
Communication-Inspired Tokenization for Structured Image Representations
February 24, 2026
Autores: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro
cs.AI
Resumen
Los tokenizadores discretos de imágenes han surgido como un componente clave de los sistemas modernos de visión y multimodales, proporcionando una interfaz secuencial para arquitecturas basadas en transformadores. Sin embargo, la mayoría de los enfoques existentes siguen optimizados principalmente para la reconstrucción y compresión, a menudo produciendo tokens que capturan textura local en lugar de la estructura semántica a nivel de objeto. Inspirados por la naturaleza incremental y compositiva de la comunicación humana, presentamos COMiT (Tokenización Inspirada en la COMunicación), un marco para aprender secuencias de tokens visuales discretos y estructurados. COMiT construye un mensaje latente dentro de un presupuesto fijo de tokens mediante la observación iterativa de recortes de imagen localizados y la actualización recurrente de su representación discreta. En cada paso, el modelo integra nueva información visual mientras refina y reorganiza la secuencia de tokens existente. Tras varias iteraciones de codificación, el mensaje final condiciona un decodificador de emparejamiento de flujos que reconstruye la imagen completa. Tanto la codificación como la decodificación se implementan dentro de un único modelo transformador y se entrenan de extremo a extremo utilizando una combinación de pérdidas por reconstrucción de emparejamiento de flujos y pérdidas por alineación de representación semántica. Nuestros experimentos demuestran que, si bien la alineación semántica proporciona una base, la tokenización secuencial atenta es crítica para inducir una estructura de tokens interpretable y centrada en objetos, mejorando sustancialmente la generalización compositiva y el razonamiento relacional en comparación con métodos anteriores.
English
Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.