AURA : Mémoire à déclenchement par action pour politiques de robot à VRAM constante

Résumé

Le cache KV est la mémoire adaptée aux centres de données mais la mémoire inadaptée aux robots. L'inférence en centre de données traite par lots de nombreuses requêtes courtes et les réinitialise, amortissant un cache d'attention sur une foule. Les agents incarnés exécutent quant à eux un long épisode non réinitialisé sur du matériel de périphérie à bande passante limitée, où la mémoire à large bande passante et la mémoire flash sont rares, la mémoire flash a une endurance d'écriture finie, et les écritures mémoire plutôt que le calcul peuvent devenir la contrainte contraignante. AURA-Mem (Action-Utility Recurrent Adaptive Memory – Mémoire Adaptative Récurrente basée sur l'Utilité de l'Action) cible ce régime. Elle enveloppe un backbone figé vision-langage-action avec une mémoire récurrente de taille constante et une porte apprise qui n'écrit que lorsque l'observation courante changerait la prochaine action : une mémoire qui sait quand rester silencieuse. Contrairement à une mémoire basée sur la reconstruction, la porte est entraînée directement contre un signal d'erreur d'action en boucle fermée. Son état d'inférence est fixé à 4 224 octets quelle que soit l'horizon, alors qu'un cache KV croît jusqu'à 6 061 fois plus grand à 100 000 pas. Sur un benchmark synthétique contrôlé, AURA-Mem égalise la meilleure baseline O(1) en précision tout en utilisant 5,19 à 6,13 fois moins d'écritures, et jusqu'à 9,19 fois moins d'écritures sur des configurations plus faciles. Des échéanciers aléatoires et périodiques appariés en budget ne récupèrent pas ce gain, isolant le bénéfice au signal de surprise de l'action. Sur un panel entraîné en boucle fermée OpenVLA-OFT 7B sur LIBERO-Long (n = 60 épisodes par bras), la porte ne nuit pas au succès : AURA-Mem correspond à la politique de base non portée (0,233) et dépasse légèrement un bras KV qui écrit toujours (0,217), tout en utilisant 7,0 fois moins d'écritures et une mémoire constante. Nous instancions également une borne de perte de valeur d'état d'information approximatif comme démonstration méthodologique ; à cette échelle, la borne est triviale plutôt qu'une garantie.

English

The KV-cache is the right memory for datacenters but the wrong memory for robots. Datacenter inference batches many short requests and resets them, amortizing an attention cache across a crowd. Embodied agents instead run one long, non-resetting episode on bandwidth-limited edge hardware, where high-bandwidth memory and flash are scarce, flash has finite write endurance, and memory writes rather than compute can become the binding constraint. AURA-Mem (Action-Utility Recurrent Adaptive Memory) targets this regime. It wraps a frozen vision-language-action backbone with a constant-size recurrent memory and a learned gate that writes only when the current observation would change the next action: memory that knows when to stay silent. Unlike reconstruction-based memory, the gate is trained directly against a closed-loop action-error signal. Its inference state is fixed at 4,224 bytes regardless of horizon, while a KV-cache grows to 6,061 times larger at 100,000 steps. On a controlled synthetic benchmark, AURA-Mem matches the best O(1) baseline in accuracy while using 5.19-6.13 times fewer writes, and up to 9.19 times fewer writes on easier configurations. Budget-matched random and periodic schedules do not recover this gain, isolating the benefit to the action-surprise signal. On a trained closed-loop OpenVLA-OFT 7B panel on LIBERO-Long (n=60 episodes per arm), the gate does not hurt success: AURA-Mem matches the ungated base policy (0.233) and slightly exceeds an always-write KV arm (0.217), while using 7.0 times fewer writes and constant memory. We also instantiate an approximate-information-state value-loss bound as a methodology demonstration; at this scale, the bound is vacuous rather than a guarantee.