장기적 강화학습을 위한 업데이트/재작성 기능을 갖춘 외부 계층 메모리: ELMUR

초록

실제 환경에서 작동하는 로봇 에이전트는 부분 관측 가능성과 긴 시간 범위 하에서 행동해야 하며, 중요한 단서가 의사결정에 영향을 미치기 훨씬 전에 나타날 수 있습니다. 그러나 대부분의 현대적 접근법은 과거의 통찰력을 통합하지 않고 순간적인 정보에만 의존합니다. 표준 순환 신경망(RNN)이나 트랜스포머 모델은 장기 의존성을 유지하고 활용하는 데 어려움을 겪습니다: 컨텍스트 윈도우는 역사를 단절시키고, 단순한 메모리 확장은 규모와 희소성 문제로 실패합니다. 우리는 구조화된 외부 메모리를 갖춘 트랜스포머 아키텍처인 ELMUR(External Layer Memory with Update/Rewrite)를 제안합니다. 각 계층은 메모리 임베딩을 유지하고, 양방향 교차 주의를 통해 상호작용하며, 최근 사용(LRU) 메모리 모듈을 통해 교체 또는 볼록 혼합을 사용하여 이를 업데이트합니다. ELMUR는 주의 윈도우를 넘어 최대 100,000배까지 효과적인 시간 범위를 확장하고, 최대 백만 단계의 복도가 있는 합성 T-미로 작업에서 100% 성공률을 달성합니다. POPGym에서는 과반수 이상의 작업에서 베이스라인을 능가합니다. 시각적 관측이 포함된 MIKASA-Robo 희소 보상 조작 작업에서는 강력한 베이스라인의 성능을 거의 두 배로 향상시킵니다. 이러한 결과는 구조화된 계층별 외부 메모리가 부분 관측 가능성 하에서의 의사결정을 위한 간단하고 확장 가능한 접근 방식을 제공함을 보여줍니다.

English

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability.

장기적 강화학습을 위한 업데이트/재작성 기능을 갖춘 외부 계층 메모리: ELMUR

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL

초록

Support