BiGym : Un benchmark de manipulation bi-manuelle mobile piloté par des démonstrations

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Auteurs: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Résumé

Nous présentons BiGym, un nouveau benchmark et environnement d'apprentissage pour la manipulation robotique bi-manuelle pilotée par démonstrations mobiles. BiGym propose 40 tâches variées situées dans des environnements domestiques, allant de l'atteinte d'une cible simple au nettoyage complexe d'une cuisine. Pour capturer avec précision les performances en conditions réelles, nous fournissons des démonstrations collectées par des humains pour chaque tâche, reflétant les diverses modalités présentes dans les trajectoires robotiques du monde réel. BiGym prend en charge une variété d'observations, incluant des données proprioceptives et des entrées visuelles telles que le RVB et la profondeur provenant de 3 vues caméra. Pour valider l'utilisabilité de BiGym, nous évaluons de manière approfondie les algorithmes d'apprentissage par imitation et les algorithmes d'apprentissage par renforcement pilotés par démonstrations de pointe dans cet environnement, et discutons des opportunités futures.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.