Gedächtnis-erweiterte Sprach-Bild-Agenten für persistente und semantisch konsistente Objektbeschreibung

Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

March 30, 2026

Autoren: Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) liefern oft inkonsistente Beschreibungen desselben Objekts aus verschiedenen Blickwinkeln, was die Fähigkeit verkörperter Agenten beeinträchtigt, über die Zeit hinweg konsistente semantische Repräsentationen aufzubauen. Bisherige Methoden lösten Inkonsistenzen durch Offline-Multi-View-Aggregation oder mehrstufige Pipelines, die Exploration, Datenassoziation und Bildunterschriftenerzeugung entkoppeln, wobei ihre Fähigkeit, bereits beobachtete Objekte zu berücksichtigen, begrenzt war. In dieser Arbeit stellen wir einen vereinheitlichten, speichererweiterten Vision-Language-Agenten vor, der Datenassoziation, Objektbeschriftung und Explorationspolitik gleichzeitig innerhalb eines einzigen autoregressiven Frameworks behandelt. Das Modell verarbeitet die aktuelle RGB-Beobachtung, eine explorierte Top-Down-Karte und ein objektebene episodische Gedächtnis, das in objektebene Tokens serialisiert wird, um persistente Objektidentität und semantische Konsistenz über längere Sequenzen hinweg sicherzustellen. Um das Modell auf selbstüberwachte Weise zu trainieren, erfassen wir einen Datensatz in fotorealistischen 3D-Umgebungen mittels einer auf Meinungsverschiedenheiten basierten Policy und eines Pseudobeschriftungsmodells, das Konsistenz über Multi-View-Beschreibungshistorien hinweg erzwingt. Eine umfassende Auswertung auf einem manuell annotierten objektebenen Testdatensatz zeigt Verbesserungen von bis zu +11,86 % bei standardmäßigen Bildunterschriften-Scores und +7,39 % bei der Selbstähnlichkeit von Beschriftungen im Vergleich zu Baseline-Modellen, bei gleichzeitiger Ermöglichung skalierbarer Leistung durch eine kompakte Szenendarstellung. Code, Modellgewichte und Daten sind unter https://hsp-iit.github.io/epos-vlm/ verfügbar.

English

Vision-Language Models (VLMs) often yield inconsistent descriptions of the same object across viewpoints, hindering the ability of embodied agents to construct consistent semantic representations over time. Previous methods resolved inconsistencies using offline multi-view aggregation or multi-stage pipelines that decouple exploration, data association, and caption learning, with limited capacity to reason over previously observed objects. In this paper, we introduce a unified, memory-augmented Vision-Language agent that simultaneously handles data association, object captioning, and exploration policy within a single autoregressive framework. The model processes the current RGB observation, a top-down explored map, and an object-level episodic memory serialized into object-level tokens, ensuring persistent object identity and semantic consistency across extended sequences. To train the model in a self-supervised manner, we collect a dataset in photorealistic 3D environments using a disagreement-based policy and a pseudo-captioning model that enforces consistency across multi-view caption histories. Extensive evaluation on a manually annotated object-level test set, demonstrate improvements of up to +11.86% in standard captioning scores and +7.39% in caption self-similarity over baseline models, while enabling scalable performance through a compact scene representation. Code, model weights, and data are available at https://hsp-iit.github.io/epos-vlm/.