ELMUR: Memoria a Strato Esterno con Aggiornamento/Riscrittura per RL a Lungo Orizzonte

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

Autori: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Abstract

Gli agenti robotici nel mondo reale devono agire in condizioni di osservabilità parziale e orizzonti temporali lunghi, dove indizi cruciali possono apparire molto prima di influenzare il processo decisionale. Tuttavia, la maggior parte degli approcci moderni si basa esclusivamente su informazioni istantanee, senza incorporare intuizioni dal passato. I modelli ricorrenti o transformer standard faticano a mantenere e sfruttare dipendenze a lungo termine: le finestre di contesto troncano la storia, mentre estensioni naive della memoria falliscono su scala e in condizioni di sparsità. Proponiamo ELMUR (External Layer Memory with Update/Rewrite), un'architettura transformer con memoria esterna strutturata. Ogni livello mantiene embedding di memoria, interagisce con essi tramite cross-attenzione bidirezionale e li aggiorna attraverso un modulo di memoria Least Recently Used (LRU) utilizzando sostituzione o blending convesso. ELMUR estende gli orizzonti efficaci fino a 100.000 volte oltre la finestra di attenzione e raggiunge un tasso di successo del 100% su un compito sintetico T-Maze con corridoi fino a un milione di passi. In POPGym, supera i baseline in più della metà dei task. Sui task di manipolazione con ricompensa sparsa MIKASA-Robo e osservazioni visive, quasi raddoppia le prestazioni dei baseline forti. Questi risultati dimostrano che una memoria esterna strutturata e locale ai livelli offre un approccio semplice e scalabile al processo decisionale in condizioni di osservabilità parziale.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.