ELMUR: Externer Speicherlayer mit Aktualisierungs-/Überschreibungsfunktion für Langzeit-RL

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

papers.authors: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

papers.abstract

Echte Roboteragenten müssen unter teilweiser Beobachtbarkeit und langen Zeithorizonten agieren, wobei entscheidende Hinweise lange vor ihrer Auswirkung auf die Entscheidungsfindung auftreten können. Die meisten modernen Ansätze verlassen sich jedoch ausschließlich auf momentane Informationen, ohne Erkenntnisse aus der Vergangenheit einzubeziehen. Standardmäßige rekurrente oder Transformer-Modelle haben Schwierigkeiten, langfristige Abhängigkeiten zu bewahren und zu nutzen: Kontextfenster kürzen die Historie, während naive Speichererweiterungen unter Skalierung und Sparsität versagen. Wir schlagen ELMUR (External Layer Memory with Update/Rewrite) vor, eine Transformer-Architektur mit strukturiertem externen Speicher. Jede Schicht verwaltet Speichereinbettungen, interagiert mit ihnen über bidirektionale Kreuzaufmerksamkeit und aktualisiert sie durch ein Least Recently Used (LRU)-Speichermodul mittels Ersetzung oder konvexer Mischung. ELMUR erweitert die effektiven Zeithorizonte um bis zu 100.000 Mal über das Aufmerksamkeitsfenster hinaus und erreicht eine 100%ige Erfolgsrate bei einer synthetischen T-Maze-Aufgabe mit Korridoren von bis zu einer Million Schritten. In POPGym übertrifft es die Baselines bei mehr als der Hälfte der Aufgaben. Bei MIKASA-Robo-Manipulationsaufgaben mit spärlicher Belohnung und visuellen Beobachtungen verdoppelt es nahezu die Leistung starker Baselines. Diese Ergebnisse zeigen, dass strukturierter, schichtlokaler externer Speicher einen einfachen und skalierbaren Ansatz für die Entscheidungsfindung unter teilweiser Beobachtbarkeit bietet.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.