Geheugen, Benchmark & Robots: Een Benchmark voor het Oplossen van Complexe Taken met Reinforcement Learning

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Auteurs: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Samenvatting

Geheugen is cruciaal om agents in staat te stellen complexe taken met temporele en ruimtelijke afhankelijkheden aan te pakken. Hoewel veel reinforcement learning (RL)-algoritmen geheugen incorporeren, ontbreekt het veld aan een universele benchmark om de geheugencapaciteiten van een agent in diverse scenario's te beoordelen. Deze leemte is vooral duidelijk in tafelrobotmanipulatie, waar geheugen essentieel is voor het oplossen van taken met gedeeltelijke observeerbaarheid en het waarborgen van robuuste prestaties, maar waar geen gestandaardiseerde benchmarks bestaan. Om dit aan te pakken, introduceren we MIKASA (Memory-Intensive Skills Assessment Suite for Agents), een uitgebreide benchmark voor geheugen-RL, met drie belangrijke bijdragen: (1) we stellen een uitgebreid classificatiekader voor geheugenintensieve RL-taken voor, (2) we verzamelen MIKASA-Base - een uniforme benchmark die systematische evaluatie van geheugenversterkte agents in diverse scenario's mogelijk maakt, en (3) we ontwikkelen MIKASA-Robo - een nieuwe benchmark van 32 zorgvuldig ontworpen geheugenintensieve taken die geheugencapaciteiten in tafelrobotmanipulatie beoordelen. Onze bijdragen vormen een uniform kader voor het bevorderen van onderzoek naar geheugen-RL, wat de ontwikkeling van betrouwbaardere systemen voor real-world toepassingen stimuleert. De code is beschikbaar op https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.