Memoria, Benchmark e Robot: Un Benchmark per la Risoluzione di Compiti Complessi con Apprendimento per Rinforzo

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Autori: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Abstract

La memoria è cruciale per consentire agli agenti di affrontare compiti complessi con dipendenze temporali e spaziali. Sebbene molti algoritmi di apprendimento per rinforzo (RL) incorporino la memoria, il campo manca di un benchmark universale per valutare le capacità mnemoniche di un agente in scenari diversi. Questa lacuna è particolarmente evidente nella manipolazione robotica su tavolo, dove la memoria è essenziale per risolvere compiti con osservabilità parziale e garantire prestazioni robuste, ma non esistono benchmark standardizzati. Per affrontare questo problema, introduciamo MIKASA (Memory-Intensive Skills Assessment Suite for Agents), un benchmark completo per l'RL basato sulla memoria, con tre contributi chiave: (1) proponiamo un framework di classificazione completo per i compiti di RL intensivi in termini di memoria, (2) raccogliamo MIKASA-Base, un benchmark unificato che consente una valutazione sistematica degli agenti potenziati dalla memoria in scenari diversi, e (3) sviluppiamo MIKASA-Robo, un nuovo benchmark di 32 compiti attentamente progettati che valutano le capacità mnemoniche nella manipolazione robotica su tavolo. I nostri contributi stabiliscono un framework unificato per avanzare la ricerca sull'RL basato sulla memoria, guidando lo sviluppo di sistemi più affidabili per applicazioni nel mondo reale. Il codice è disponibile all'indirizzo https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.