Agentes Visuais e de Linguagem Aumentados por Memória para Legendagem de Objetos Persistente e Semanticamente Consistente
Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning
March 30, 2026
Autores: Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale
cs.AI
Resumo
Os Modelos de Visão-Linguagem (VLMs) frequentemente produzem descrições inconsistentes do mesmo objeto em diferentes pontos de vista, dificultando a capacidade de agentes incorporados de construir representações semânticas consistentes ao longo do tempo. Métodos anteriores resolviam inconsistências usando agregação offline de múltiplas vistas ou pipelines multiestágio que desacoplam exploração, associação de dados e aprendizado de legendas, com capacidade limitada de raciocínio sobre objetos previamente observados. Neste artigo, introduzimos um agente unificado de Visão-Linguagem, aumentado por memória, que lida simultaneamente com associação de dados, legendagem de objetos e política de exploração dentro de uma única estrutura autoregressiva. O modelo processa a observação RGB atual, um mapa explorado de cima para baixo e uma memória episódica em nível de objeto serializada em tokens de nível de objeto, garantindo identidade persistente do objeto e consistência semântica em sequências estendidas. Para treinar o modelo de forma autossupervisionada, coletamos um conjunto de dados em ambientes 3D fotorrealistas usando uma política baseada em discordância e um modelo de pseudo-legenda que impõe consistência entre históricos de legendas de múltiplas vistas. A avaliação extensiva em um conjunto de teste anotado manualmente em nível de objeto demonstra melhorias de até +11,86% em pontuações padrão de legendagem e +7,39% em auto-similaridade de legendas em relação aos modelos de base, enquanto permite desempenho escalável através de uma representação compacta da cena. Código, pesos do modelo e dados estão disponíveis em https://hsp-iit.github.io/epos-vlm/.
English
Vision-Language Models (VLMs) often yield inconsistent descriptions of the same object across viewpoints, hindering the ability of embodied agents to construct consistent semantic representations over time. Previous methods resolved inconsistencies using offline multi-view aggregation or multi-stage pipelines that decouple exploration, data association, and caption learning, with limited capacity to reason over previously observed objects. In this paper, we introduce a unified, memory-augmented Vision-Language agent that simultaneously handles data association, object captioning, and exploration policy within a single autoregressive framework. The model processes the current RGB observation, a top-down explored map, and an object-level episodic memory serialized into object-level tokens, ensuring persistent object identity and semantic consistency across extended sequences. To train the model in a self-supervised manner, we collect a dataset in photorealistic 3D environments using a disagreement-based policy and a pseudo-captioning model that enforces consistency across multi-view caption histories. Extensive evaluation on a manually annotated object-level test set, demonstrate improvements of up to +11.86% in standard captioning scores and +7.39% in caption self-similarity over baseline models, while enabling scalable performance through a compact scene representation. Code, model weights, and data are available at https://hsp-iit.github.io/epos-vlm/.