メモリ、ベンチマーク、ロボット：強化学習による複雑なタスク解決のためのベンチマーク

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

著者: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

要旨

メモリは、時間的および空間的な依存関係を伴う複雑なタスクにエージェントが取り組むために不可欠です。多くの強化学習（RL）アルゴリズムがメモリを組み込んでいますが、この分野では、多様なシナリオにおけるエージェントのメモリ能力を評価するための普遍的なベンチマークが不足しています。このギャップは特にテーブルトップロボット操作において顕著で、部分観測可能性を伴うタスクを解決し、堅牢な性能を確保するためにメモリが不可欠であるにもかかわらず、標準化されたベンチマークが存在しません。この問題に対処するため、我々はMIKASA（Memory-Intensive Skills Assessment Suite for Agents）を導入します。これはメモリRLの包括的なベンチマークであり、以下の3つの主要な貢献を提供します：(1) メモリ集約型RLタスクの包括的分類フレームワークを提案、(2) MIKASA-Baseを収集 - 多様なシナリオにおけるメモリ強化エージェントの体系的評価を可能にする統一ベンチマーク、(3) MIKASA-Roboを開発 - テーブルトップロボット操作におけるメモリ能力を評価する32の慎重に設計されたメモリ集約型タスクの新たなベンチマーク。我々の貢献は、メモリRL研究を進めるための統一フレームワークを確立し、実世界のアプリケーションにおけるより信頼性の高いシステムの開発を推進します。コードはhttps://sites.google.com/view/memorybenchrobots/で公開されています。

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.