Память, Бенчмарки и Роботы: Бенчмарк для решения сложных задач с использованием обучения с подкреплением

Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

February 14, 2025

Авторы: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Аннотация

Память играет ключевую роль в способности агентов решать сложные задачи с временными и пространственными зависимостями. Хотя многие алгоритмы обучения с подкреплением (RL) включают механизмы памяти, в этой области отсутствует универсальный бенчмарк для оценки возможностей памяти агентов в различных сценариях. Этот пробел особенно заметен в задачах манипуляции на столе для роботов, где память необходима для решения задач с частичной наблюдаемостью и обеспечения устойчивой производительности, однако стандартизированные бенчмарки отсутствуют. Чтобы устранить этот пробел, мы представляем MIKASA (Memory-Intensive Skills Assessment Suite for Agents) — комплексный бенчмарк для RL с акцентом на память, который включает три ключевых вклада: (1) мы предлагаем всеобъемлющую классификационную структуру для задач RL, требующих интенсивного использования памяти, (2) мы создаем MIKASA-Base — унифицированный бенчмарк, позволяющий систематически оценивать агентов с улучшенной памятью в разнообразных сценариях, и (3) разрабатываем MIKASA-Robo — новый бенчмарк из 32 тщательно разработанных задач, оценивающих возможности памяти в задачах манипуляции на столе для роботов. Наши вклады создают унифицированную основу для продвижения исследований в области RL с акцентом на память, способствуя разработке более надежных систем для реальных приложений. Код доступен по адресу https://sites.google.com/view/memorybenchrobots/.

English

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base - a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo - a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our contributions establish a unified framework for advancing memory RL research, driving the development of more reliable systems for real-world applications. The code is available at https://sites.google.com/view/memorybenchrobots/.