BiGym: Un Benchmark de Manipulación Bi-Manual Móvil Impulsado por Demostraciones

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Autores: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Resumen

Presentamos BiGym, un nuevo banco de pruebas y entorno de aprendizaje para la manipulación robótica demostrada móvil bi-manual. BiGym incluye 40 tareas diversas ambientadas en entornos domésticos, que van desde alcanzar objetivos simples hasta limpiar cocinas complejas. Para capturar con precisión el rendimiento del mundo real, proporcionamos demostraciones recopiladas por humanos para cada tarea, reflejando las diversas modalidades encontradas en las trayectorias de robots del mundo real. BiGym admite una variedad de observaciones, incluidos datos propioceptivos e entradas visuales como RGB y profundidad desde 3 vistas de cámara. Para validar la usabilidad de BiGym, evaluamos exhaustivamente los algoritmos de aprendizaje por imitación de vanguardia y los algoritmos de aprendizaje por refuerzo demostrado dentro del entorno y discutimos las oportunidades futuras.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.