ELMUR: Memória de Camada Externa com Atualização/Reescrita para RL de Longo Horizonte

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

Autores: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumo

Agentes robóticos do mundo real devem agir sob observabilidade parcial e horizontes longos, onde pistas-chave podem aparecer muito antes de afetarem a tomada de decisão. No entanto, a maioria das abordagens modernas depende exclusivamente de informações instantâneas, sem incorporar insights do passado. Modelos recorrentes ou transformadores padrão lutam para reter e aproveitar dependências de longo prazo: janelas de contexto truncam o histórico, enquanto extensões ingênuas de memória falham em escala e esparsidade. Propomos o ELMUR (External Layer Memory with Update/Rewrite), uma arquitetura transformadora com memória externa estruturada. Cada camada mantém embeddings de memória, interage com eles via atenção cruzada bidirecional e os atualiza por meio de um módulo de memória Least Recently Used (LRU) usando substituição ou combinação convexa. O ELMUR estende os horizontes efetivos até 100.000 vezes além da janela de atenção e alcança uma taxa de sucesso de 100% em uma tarefa sintética de Labirinto-T com corredores de até um milhão de passos. No POPGym, ele supera as linhas de base em mais da metade das tarefas. Nas tarefas de manipulação com recompensa esparsa do MIKASA-Robo com observações visuais, ele quase dobra o desempenho de linhas de base robustas. Esses resultados demonstram que a memória externa estruturada e local por camada oferece uma abordagem simples e escalável para a tomada de decisão sob observabilidade parcial.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.