Памяти-расширенные визуально-лингвистические агенты для устойчивого и семантически согласованного описания объектов

Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

March 30, 2026

Авторы: Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale

cs.AI

Аннотация

Визуально-языковые модели (VLM) часто формируют противоречивые описания одного объекта с разных точек обзора, что препятствует построению согласованных семантических представлений у воплощённых агентов в течение времени. Предыдущие методы устраняли противоречия с помощью офлайн-агрегации мульти-вью данных или многоэтапных конвейеров, разделяющих исследование, ассоциацию данных и обучение генерации подписей, но обладали ограниченной способностью к рассуждению о ранее наблюдаемых объектах. В данной работе мы представляем унифицированного визуально-языкового агента с расширенной памятью, который одновременно решает задачи ассоциации данных, описания объектов и стратегии исследования в рамках единой авторегрессионной архитектуры. Модель обрабатывает текущее RGB-наблюдение, исследованную карту сверху вниз и эпизодическую память на уровне объектов, сериализованную в токены объектного уровня, что обеспечивает постоянство идентичности объектов и семантическую согласованность на протяжённых последовательностях. Для самообучения модели мы собираем набор данных в фотореалистичных 3D-средах с использованием политики на основе рассогласования и псевдо-модели генерации подписей, обеспечивающей согласованность истории мульти-вью описаний. Всесторонняя оценка на размеченном вручную тестовом наборе данных демонстрирует улучшение стандартных метрик качества подписей на +11.86% и метрики самоподобия подписей на +7.39% по сравнению с базовыми моделями, а также обеспечивает масштабируемость производительности благодаря компактному представлению сцены. Код, веса модели и данные доступны по адресу https://hsp-iit.github.io/epos-vlm/.

English

Vision-Language Models (VLMs) often yield inconsistent descriptions of the same object across viewpoints, hindering the ability of embodied agents to construct consistent semantic representations over time. Previous methods resolved inconsistencies using offline multi-view aggregation or multi-stage pipelines that decouple exploration, data association, and caption learning, with limited capacity to reason over previously observed objects. In this paper, we introduce a unified, memory-augmented Vision-Language agent that simultaneously handles data association, object captioning, and exploration policy within a single autoregressive framework. The model processes the current RGB observation, a top-down explored map, and an object-level episodic memory serialized into object-level tokens, ensuring persistent object identity and semantic consistency across extended sequences. To train the model in a self-supervised manner, we collect a dataset in photorealistic 3D environments using a disagreement-based policy and a pseudo-captioning model that enforces consistency across multi-view caption histories. Extensive evaluation on a manually annotated object-level test set, demonstrate improvements of up to +11.86% in standard captioning scores and +7.39% in caption self-similarity over baseline models, while enabling scalable performance through a compact scene representation. Code, model weights, and data are available at https://hsp-iit.github.io/epos-vlm/.