AtlasVA : Mémoire de compétences visuelles auto-évolutive pour agents VLM sans enseignant

Résumé

Les agents de modèles vision-langage (VLM) s'appuient de plus en plus sur l'apprentissage par renforcement augmenté de mémoire pour réutiliser l'expérience acquise dans des tâches à long horizon. Pourtant, la plupart des frameworks existants stockent la mémoire sous forme de texte et dépendent de modèles enseignants propriétaires pour la résumer ou l'affiner. Cette conception est mal adaptée à la prise de décision spatiale : les a priori géométriques sont compressés dans un langage appauvrissant, et les interactions rares sont souvent supervisées par un retour textuel différé plutôt que par des signaux denses visuellement ancrés. Nous soutenons que l'expérience réutilisable pour les agents VLM doit rester ancrée visuellement. Partant de cette idée, nous proposons AtlasVA, un framework de mémoire de compétences visuelles sans enseignant, qui organise la mémoire en trois couches complémentaires : les heatmaps spatiales, les exemplaires visuels et les compétences textuelles symboliques. AtlasVA fait en outre évoluer des atlas de danger et d'affinité directement à partir des statistiques de trajectoire et d'heuristiques de grille légères, et réutilise ces atlas auto-évolutifs comme récompenses de mise en forme basées sur le potentiel pour l'apprentissage par renforcement. Cela unifie perception, mémoire et optimisation sans supervision externe par LLM. Les expériences menées sur les benchmarks Sokoban, FrozenLake, navigation incarnée 3D et manipulation robotique 3D montrent qu'AtlasVA surpasse systématiquement les mémoires textuelles de base et les agents VLM concurrents, avec des gains particulièrement marqués sur les tâches spatialement intensives. Site web : https://wangpan-ustc.github.io/AtlasvaWeb

English

Vision-language model (VLM) agents increasingly rely on memory-augmented reinforcement learning to reuse experience across long-horizon tasks, yet most existing frameworks store memory as text and depend on proprietary teacher models to summarize or refine it. This design is poorly matched to spatial decision making: geometric priors are compressed into lossy language, and sparse interaction is often supervised through delayed textual feedback rather than dense visually grounded signals. We argue that reusable experience for VLM agents should remain visually grounded. Based on this insight, we propose AtlasVA, a teacher-free visual skill memory framework that organizes memory into three complementary layers: spatial heatmaps, visual exemplars, and symbolic text skills. AtlasVA further evolves danger and affinity atlases directly from trajectory statistics and lightweight grid heuristics, and reuses these self-evolving atlases as potential-based shaping rewards for reinforcement learning. This unifies perception, memory, and optimization without external LLM supervision. Experiments on Sokoban, FrozenLake, 3D embodied navigation, and 3D robotic manipulation benchmarks show that AtlasVA consistently outperforms text-centric memory baselines and competitive VLM agents, with especially strong gains on spatially intensive tasks. Homepage: https://wangpan-ustc.github.io/AtlasvaWeb