ELMUR: Memoria de Capa Externa con Actualización/Reescritura para RL de Horizonte Largo

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

Autores: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumen

Los agentes robóticos del mundo real deben actuar bajo observabilidad parcial y horizontes temporales extensos, donde indicios clave pueden aparecer mucho antes de que afecten la toma de decisiones. Sin embargo, la mayoría de los enfoques modernos dependen únicamente de información instantánea, sin incorporar insights del pasado. Los modelos recurrentes estándar o los transformadores tienen dificultades para retener y aprovechar dependencias a largo plazo: las ventanas de contexto truncan el historial, mientras que las extensiones de memoria simples fallan ante la escala y la dispersión. Proponemos ELMUR (External Layer Memory with Update/Rewrite), una arquitectura transformadora con memoria externa estructurada. Cada capa mantiene incrustaciones de memoria, interactúa con ellas mediante atención cruzada bidireccional y las actualiza a través de un módulo de memoria LRU (Least Recently Used) utilizando reemplazo o mezcla convexa. ELMUR extiende los horizontes efectivos hasta 100,000 veces más allá de la ventana de atención y logra una tasa de éxito del 100% en una tarea sintética de laberinto T con corredores de hasta un millón de pasos. En POPGym, supera a los modelos de referencia en más de la mitad de las tareas. En las tareas de manipulación con recompensas dispersas MIKASA-Robo y observaciones visuales, casi duplica el rendimiento de los modelos de referencia sólidos. Estos resultados demuestran que la memoria externa estructurada y local por capas ofrece un enfoque simple y escalable para la toma de decisiones bajo observabilidad parcial.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.