Memoria, Evaluación Comparativa y Robots: Un Punto de Referencia para Resolver Tareas Complejas con Aprendizaje por Refuerzo

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Autores: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumen

La memoria es crucial para permitir que los agentes aborden tareas complejas con dependencias temporales y espaciales. Si bien muchos algoritmos de aprendizaje por refuerzo (RL, por sus siglas en inglés) incorporan memoria, el campo carece de un punto de referencia universal para evaluar las capacidades de memoria de un agente en diversos escenarios. Esta brecha es particularmente evidente en la manipulación robótica sobre mesas, donde la memoria es esencial para resolver tareas con observabilidad parcial y garantizar un rendimiento robusto, pero no existen puntos de referencia estandarizados. Para abordar esto, presentamos MIKASA (Memory-Intensive Skills Assessment Suite for Agents), un punto de referencia integral para RL con memoria, con tres contribuciones clave: (1) proponemos un marco de clasificación exhaustivo para tareas de RL intensivas en memoria, (2) recopilamos MIKASA-Base, un punto de referencia unificado que permite la evaluación sistemática de agentes mejorados con memoria en diversos escenarios, y (3) desarrollamos MIKASA-Robo, un nuevo punto de referencia con 32 tareas cuidadosamente diseñadas que evalúan las capacidades de memoria en la manipulación robótica sobre mesas. Nuestras contribuciones establecen un marco unificado para avanzar en la investigación de RL con memoria, impulsando el desarrollo de sistemas más confiables para aplicaciones del mundo real. El código está disponible en https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.