ELMUR: Extern Laag Geheugen met Bijwerken/Herschrijven voor Lange-Termijn RL

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

Auteurs: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Samenvatting

Robots in de echte wereld moeten handelen onder gedeeltelijke waarneembaarheid en lange tijdsperioden, waarbij belangrijke signalen lang voordat ze van invloed zijn op de besluitvorming kunnen verschijnen. De meeste moderne benaderingen vertrouwen echter uitsluitend op directe informatie, zonder inzichten uit het verleden te integreren. Standaard recurrent of transformer-modellen hebben moeite met het behouden en benutten van langetermijnafhankelijkheden: contextvensters beperken de geschiedenis, terwijl naïeve geheugenuitbreidingen falen onder schaal en schaarste. Wij stellen ELMUR (External Layer Memory with Update/Rewrite) voor, een transformer-architectuur met gestructureerd extern geheugen. Elke laag onderhoudt geheugen-embeddings, interageert ermee via bidirectionele cross-attention, en werkt ze bij via een Least Recently Used (LRU)-geheugenmodule met vervanging of convexe blending. ELMUR breidt effectieve tijdsperioden uit tot 100.000 keer verder dan het aandachtvenster en behaalt een slagingspercentage van 100% op een synthetische T-Maze-taak met gangen tot een miljoen stappen. In POPGym presteert het beter dan de basislijnen op meer dan de helft van de taken. Op MIKASA-Robo-manipulatietaken met visuele observaties en schaarse beloningen verdubbelt het bijna de prestaties van sterke basislijnen. Deze resultaten tonen aan dat gestructureerd, lokaal extern geheugen per laag een eenvoudige en schaalbare benadering biedt voor besluitvorming onder gedeeltelijke waarneembaarheid.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.