Mémoire, Benchmark et Robots : Un Benchmark pour la Résolution de Tâches Complexes avec l'Apprentissage par Renforcement

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Auteurs: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Résumé

La mémoire est cruciale pour permettre aux agents de relever des tâches complexes présentant des dépendances temporelles et spatiales. Bien que de nombreux algorithmes d'apprentissage par renforcement (RL) intègrent la mémoire, le domaine manque d'un benchmark universel pour évaluer les capacités mémorielles des agents dans divers scénarios. Cette lacune est particulièrement évidente dans la manipulation robotique sur table, où la mémoire est essentielle pour résoudre des tâches avec observabilité partielle et assurer des performances robustes, mais où aucun benchmark standardisé n'existe. Pour remédier à cela, nous introduisons MIKASA (Memory-Intensive Skills Assessment Suite for Agents), un benchmark complet pour la mémoire en RL, avec trois contributions clés : (1) nous proposons un cadre de classification complet pour les tâches de RL intensives en mémoire, (2) nous collectons MIKASA-Base - un benchmark unifié permettant une évaluation systématique des agents améliorés par la mémoire dans divers scénarios, et (3) nous développons MIKASA-Robo - un nouveau benchmark de 32 tâches soigneusement conçues pour évaluer les capacités mémorielles dans la manipulation robotique sur table. Nos contributions établissent un cadre unifié pour faire progresser la recherche en mémoire RL, en favorisant le développement de systèmes plus fiables pour des applications réelles. Le code est disponible à l'adresse https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.