ELMUR: 長期視野強化学習のための更新/書き換え機能を備えた外部層メモリ

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

October 8, 2025

著者: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

要旨

現実世界のロボティックエージェントは、部分観測性と長い時間軸の下で行動する必要があり、重要な手がかりが意思決定に影響を与えるずっと前に現れることがあります。しかし、ほとんどの現代的なアプローチは瞬間的な情報にのみ依存し、過去の洞察を取り入れていません。標準的なリカレントモデルやトランスフォーマーモデルは、長期的な依存関係を保持し活用することに苦労しています。コンテキストウィンドウは履歴を切り捨て、単純なメモリ拡張はスケールとスパース性の下で失敗します。我々はELMUR（External Layer Memory with Update/Rewrite）を提案します。これは構造化された外部メモリを持つトランスフォーマーアーキテクチャです。各層はメモリ埋め込みを保持し、双方向クロスアテンションを通じてそれらと相互作用し、Least Recently Used（LRU）メモリモジュールを使用して置換または凸ブレンディングによってそれらを更新します。ELMURは、アテンションウィンドウを最大100,000倍まで拡張し、100万ステップまでの廊下を持つ合成T-Mazeタスクで100%の成功率を達成します。POPGymでは、半分以上のタスクでベースラインを上回ります。視覚観測を伴うMIKASA-Roboのスパース報酬操作タスクでは、強力なベースラインの性能をほぼ2倍にします。これらの結果は、構造化された層ローカルな外部メモリが、部分観測性下での意思決定に対するシンプルでスケーラブルなアプローチを提供することを示しています。

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.