AtlasVA: Zelf-evoluerend Visueel Vaardigheidsgeheugen voor Leraarvrije VLM-agenten

Samenvatting

Visie-taalmodel (VLM)-agenten vertrouwen steeds vaker op geheugengeaugmenteerd reinforcement learning om ervaring te hergebruiken over langetermijnstaken heen, maar de meeste bestaande raamwerken slaan geheugen op als tekst en zijn afhankelijk van propriëtaire leraarmodellen om het samen te vatten of te verfijnen. Dit ontwerp sluit slecht aan bij ruimtelijke besluitvorming: geometrische voorkennis wordt samengeperst in verlieslatende taal, en schaarse interactie wordt vaak gesuperviseerd via vertraagde tekstuele feedback in plaats van dichte visueel verankerde signalen. Wij stellen dat herbruikbare ervaring voor VLM-agenten visueel verankerd moet blijven. Op basis van dit inzicht introduceren wij AtlasVA, een leraarvrij visueel vaardigheidsgeheugenkader dat het geheugen organiseert in drie complementaire lagen: ruimtelijke hittekaarten, visuele voorbeelden en symbolische tekstvaardigheden. AtlasVA leidt bovendien gevaren- en affiniteitsatlassen rechtstreeks af uit trajectstatistieken en lichtgewicht rasterheuristieken, en hergebruikt deze zelf-ontwikkelende atlassen als op potentiaal gebaseerde vormbeloningen voor reinforcement learning. Dit verenigt perceptie, geheugen en optimalisatie zonder externe LLM-supervisie. Experimenten op Sokoban, FrozenLake, 3D belichaamde navigatie en 3D robotmanipulatie-benchmarks tonen aan dat AtlasVA consequent beter presteert dan tekstgerichte geheugenbasislijnen en concurrerende VLM-agenten, met bijzonder sterke winsten op ruimtelijk intensieve taken. Homepage: https://wangpan-ustc.github.io/AtlasvaWeb

English

Vision-language model (VLM) agents increasingly rely on memory-augmented reinforcement learning to reuse experience across long-horizon tasks, yet most existing frameworks store memory as text and depend on proprietary teacher models to summarize or refine it. This design is poorly matched to spatial decision making: geometric priors are compressed into lossy language, and sparse interaction is often supervised through delayed textual feedback rather than dense visually grounded signals. We argue that reusable experience for VLM agents should remain visually grounded. Based on this insight, we propose AtlasVA, a teacher-free visual skill memory framework that organizes memory into three complementary layers: spatial heatmaps, visual exemplars, and symbolic text skills. AtlasVA further evolves danger and affinity atlases directly from trajectory statistics and lightweight grid heuristics, and reuses these self-evolving atlases as potential-based shaping rewards for reinforcement learning. This unifies perception, memory, and optimization without external LLM supervision. Experiments on Sokoban, FrozenLake, 3D embodied navigation, and 3D robotic manipulation benchmarks show that AtlasVA consistently outperforms text-centric memory baselines and competitive VLM agents, with especially strong gains on spatially intensive tasks. Homepage: https://wangpan-ustc.github.io/AtlasvaWeb