Memória, Benchmark e Robôs: Um Benchmark para Resolução de Tarefas Complexas com Aprendizado por Reforço

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Autores: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumo

A memória é crucial para permitir que agentes enfrentem tarefas complexas com dependências temporais e espaciais. Embora muitos algoritmos de aprendizado por reforço (RL, do inglês Reinforcement Learning) incorporem memória, o campo carece de um benchmark universal para avaliar as capacidades de memória de um agente em diversos cenários. Essa lacuna é particularmente evidente na manipulação robótica em mesa, onde a memória é essencial para resolver tarefas com observabilidade parcial e garantir um desempenho robusto, mas não existem benchmarks padronizados. Para abordar isso, introduzimos o MIKASA (Memory-Intensive Skills Assessment Suite for Agents), um benchmark abrangente para RL com memória, com três contribuições principais: (1) propomos uma estrutura de classificação abrangente para tarefas de RL intensivas em memória, (2) coletamos o MIKASA-Base - um benchmark unificado que permite a avaliação sistemática de agentes aprimorados por memória em diversos cenários, e (3) desenvolvemos o MIKASA-Robo - um novo benchmark composto por 32 tarefas cuidadosamente projetadas e intensivas em memória que avaliam as capacidades de memória na manipulação robótica em mesa. Nossas contribuições estabelecem uma estrutura unificada para avançar a pesquisa em RL com memória, impulsionando o desenvolvimento de sistemas mais confiáveis para aplicações no mundo real. O código está disponível em https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.