BiGym: Un Benchmark per la Manipolazione Bimanuale su Dispositivi Mobili Basato su Dimostrazioni

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Autori: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Abstract

Presentiamo BiGym, un nuovo benchmark e ambiente di apprendimento per la manipolazione robotica bi-manuale mobile guidata da dimostrazioni. BiGym include 40 task diversificati ambientati in contesti domestici, che spaziano dal semplice raggiungimento di un obiettivo alla complessa pulizia della cucina. Per catturare accuratamente le prestazioni nel mondo reale, forniamo dimostrazioni raccolte da esseri umani per ciascun task, riflettendo le diverse modalità presenti nelle traiettorie dei robot reali. BiGym supporta una varietà di osservazioni, inclusi dati propriocettivi e input visivi come RGB e profondità da 3 punti di vista della telecamera. Per validare l'usabilità di BiGym, testiamo approfonditamente gli algoritmi di apprendimento per imitazione all'avanguardia e gli algoritmi di apprendimento per rinforzo guidati da dimostrazioni all'interno dell'ambiente e discutiamo le future opportunità.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.