Agentes de Visión y Lenguaje Aumentados con Memoria para la Descripción Persistente y Semánticamente Consistente de Objetos

Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

March 30, 2026

Autores: Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale

cs.AI

Resumen

Los modelos deíctica de visión y lenguaje (VLM) a menudo producen descripciones inconsistentes de un mismo objeto desde diferentes puntos de vista, lo que dificulta la capacidad de los agentes corporizados para construir representaciones semánticas consistentes a lo largo del tiempo. Métodos anteriores resolvían las inconsistencias mediante agregación multi-vista offline o pipelines multi-etapa que desacoplan la exploración, la asociación de datos y el aprendizaje de leyendas, con capacidad limitada para razonar sobre objetos observados previamente. En este artículo, presentamos un agente unificado de Visión y Lenguaje aumentado con memoria que maneja simultáneamente la asociación de datos, el etiquetado de objetos y la política de exploración dentro de un único marco autoregresivo. El modelo procesa la observación RGB actual, un mapa explorado en vista superior y una memoria episódica a nivel de objetos serializada en tokens de nivel de objeto, garantizando una identidad de objeto persistente y una coherencia semántica a lo largo de secuencias extendidas. Para entrenar el modelo de manera auto-supervisada, recopilamos un conjunto de datos en entornos 3D fotorrealistas utilizando una política basada en desacuerdo y un modelo de pseudo-leyendas que impone consistencia en los historiales de leyendas multi-vista. Una evaluación exhaustiva en un conjunto de prueba a nivel de objeto anotado manualmente demuestra mejoras de hasta +11.86% en las puntuaciones estándar de leyendas y +7.39% en la auto-similitud de las leyendas respecto a los modelos base, al mismo tiempo que permite un rendimiento escalable mediante una representación compacta de la escena. El código, los pesos del modelo y los datos están disponibles en https://hsp-iit.github.io/epos-vlm/.

English

Vision-Language Models (VLMs) often yield inconsistent descriptions of the same object across viewpoints, hindering the ability of embodied agents to construct consistent semantic representations over time. Previous methods resolved inconsistencies using offline multi-view aggregation or multi-stage pipelines that decouple exploration, data association, and caption learning, with limited capacity to reason over previously observed objects. In this paper, we introduce a unified, memory-augmented Vision-Language agent that simultaneously handles data association, object captioning, and exploration policy within a single autoregressive framework. The model processes the current RGB observation, a top-down explored map, and an object-level episodic memory serialized into object-level tokens, ensuring persistent object identity and semantic consistency across extended sequences. To train the model in a self-supervised manner, we collect a dataset in photorealistic 3D environments using a disagreement-based policy and a pseudo-captioning model that enforces consistency across multi-view caption histories. Extensive evaluation on a manually annotated object-level test set, demonstrate improvements of up to +11.86% in standard captioning scores and +7.39% in caption self-similarity over baseline models, while enabling scalable performance through a compact scene representation. Code, model weights, and data are available at https://hsp-iit.github.io/epos-vlm/.