ELMUR: Внешний слой памяти с обновлением/перезаписью для долгосрочного обучения с подкреплением

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

Авторы: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Аннотация

Роботизированные агенты в реальном мире должны действовать в условиях частичной наблюдаемости и длительных временных горизонтов, где ключевые сигналы могут появляться задолго до того, как они повлияют на принятие решений. Однако большинство современных подходов полагаются исключительно на мгновенную информацию, не учитывая данные из прошлого. Стандартные рекуррентные или трансформерные модели сталкиваются с трудностями в сохранении и использовании долгосрочных зависимостей: контекстные окна обрезают историю, а простые расширения памяти не справляются с масштабом и разреженностью данных. Мы предлагаем ELMUR (External Layer Memory with Update/Rewrite) — архитектуру трансформера со структурированной внешней памятью. Каждый слой поддерживает эмбеддинги памяти, взаимодействует с ними через двунаправленное кросс-внимание и обновляет их с помощью модуля памяти LRU (Least Recently Used), используя замену или выпуклое смешение. ELMUR расширяет эффективные горизонты до 100 000 раз за пределы окна внимания и достигает 100% успеха на синтетической задаче T-Maze с коридорами длиной до одного миллиона шагов. В POPGym он превосходит базовые подходы более чем на половине задач. На задачах манипуляции с разреженными вознаграждениями и визуальными наблюдениями в MIKASA-Robo он почти удваивает производительность сильных базовых моделей. Эти результаты демонстрируют, что структурированная, локальная для слоев внешняя память предлагает простой и масштабируемый подход к принятию решений в условиях частичной наблюдаемости.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.