Speicher, Benchmark & Roboter: Ein Benchmark zur Lösung komplexer Aufgaben mit Bestärkendem Lernen

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Autoren: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Zusammenfassung

Speicher ist entscheidend, um Agenten in die Lage zu versetzen, komplexe Aufgaben mit zeitlichen und räumlichen Abhängigkeiten zu bewältigen. Während viele Reinforcement-Learning (RL)-Algorithmen Speicher integrieren, fehlt es in diesem Bereich an einem universellen Benchmark, um die Speicherfähigkeiten eines Agenten in verschiedenen Szenarien zu bewerten. Diese Lücke ist besonders deutlich im Bereich der Tischroboter-Manipulation, wo Speicher unerlässlich ist, um Aufgaben mit teilweiser Beobachtbarkeit zu lösen und eine robuste Leistung zu gewährleisten, aber es gibt keine standardisierten Benchmarks. Um dies zu beheben, stellen wir MIKASA (Memory-Intensive Skills Assessment Suite for Agents) vor, einen umfassenden Benchmark für Speicher-RL, mit drei wesentlichen Beiträgen: (1) Wir schlagen ein umfassendes Klassifizierungsrahmenwerk für speicherintensive RL-Aufgaben vor, (2) wir sammeln MIKASA-Base – einen einheitlichen Benchmark, der eine systematische Bewertung von speicherverbesserten Agenten in verschiedenen Szenarien ermöglicht, und (3) wir entwickeln MIKASA-Robo – einen neuartigen Benchmark mit 32 sorgfältig entworfenen speicherintensiven Aufgaben, die die Speicherfähigkeiten in der Tischroboter-Manipulation bewerten. Unsere Beiträge schaffen ein einheitliches Rahmenwerk, um die Forschung im Bereich Speicher-RL voranzutreiben und die Entwicklung zuverlässigerer Systeme für reale Anwendungen zu fördern. Der Code ist verfügbar unter https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.