BiGym: Um Benchmark de Manipulação Bi-Manual Móvel Orientado por Demonstração

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Autores: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Resumo

Apresentamos o BiGym, um novo benchmark e ambiente de aprendizado para manipulação robótica móvel bimanual orientada por demonstrações. O BiGym apresenta 40 tarefas diversas ambientadas em ambientes domésticos, que vão desde alcançar alvos simples até limpeza de cozinha complexa. Para capturar com precisão o desempenho do mundo real, fornecemos demonstrações coletadas por humanos para cada tarefa, refletindo as diversas modalidades encontradas em trajetórias de robôs do mundo real. O BiGym suporta uma variedade de observações, incluindo dados proprioceptivos e entradas visuais como RGB e profundidade de 3 visualizações de câmera. Para validar a usabilidade do BiGym, benchmarkamos minuciosamente os algoritmos de aprendizado por imitação de ponta e os algoritmos de aprendizado por reforço orientados por demonstrações dentro do ambiente e discutimos as oportunidades futuras.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.