Agents vision-langage à mémoire augmentée pour une légendisation d'objets persistante et sémantiquement cohérente

Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

March 30, 2026

Auteurs: Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale

cs.AI

Résumé

Les modèles vision-langage (VLM) produisent souvent des descriptions incohérentes d'un même objet selon les points de vue, ce qui entrave la capacité des agents incarnés à construire des représentations sémantiques cohérentes dans le temps. Les méthodes antérieures résolvaient ces incohérences par agrégation multi-vues hors-ligne ou par des pipelines multi-étapes dissociant exploration, association de données et apprentissage de légendes, avec une capacité limitée à raisonner sur les objets précédemment observés. Dans cet article, nous présentons un agent vision-langage unifié, augmenté d'une mémoire, qui traite simultanément l'association de données, la légendation d'objets et la politique d'exploration dans un cadre autoregressif unique. Le modèle traite l'observation RGB courante, une carte explorée en vue de dessus et une mémoire épisodique au niveau objet sérialisée en tokens, garantissant une identité persistante des objets et une cohérence sémantique sur des séquences étendues. Pour entraîner le modèle de manière auto-supervisée, nous collectons un jeu de données dans des environnements 3D photoréalistes à l'aide d'une politique basée sur les désaccords et d'un modèle de pseudo-légendage imposant la cohérence des historiques de légendes multi-vues. Une évaluation approfondie sur un jeu de test annoté manuellement au niveau objet démontre des améliorations allant jusqu'à +11,86% sur les scores de légendage standard et +7,39% sur l'auto-similarité des légendes par rapport aux modèles de référence, tout en permettant des performances évolutives grâce à une représentation compacte de la scène. Le code, les poids des modèles et les données sont disponibles à l'adresse https://hsp-iit.github.io/epos-vlm/.

English

Vision-Language Models (VLMs) often yield inconsistent descriptions of the same object across viewpoints, hindering the ability of embodied agents to construct consistent semantic representations over time. Previous methods resolved inconsistencies using offline multi-view aggregation or multi-stage pipelines that decouple exploration, data association, and caption learning, with limited capacity to reason over previously observed objects. In this paper, we introduce a unified, memory-augmented Vision-Language agent that simultaneously handles data association, object captioning, and exploration policy within a single autoregressive framework. The model processes the current RGB observation, a top-down explored map, and an object-level episodic memory serialized into object-level tokens, ensuring persistent object identity and semantic consistency across extended sequences. To train the model in a self-supervised manner, we collect a dataset in photorealistic 3D environments using a disagreement-based policy and a pseudo-captioning model that enforces consistency across multi-view caption histories. Extensive evaluation on a manually annotated object-level test set, demonstrate improvements of up to +11.86% in standard captioning scores and +7.39% in caption self-similarity over baseline models, while enabling scalable performance through a compact scene representation. Code, model weights, and data are available at https://hsp-iit.github.io/epos-vlm/.