BiGym: Een Demo-Gestuurde Benchmark voor Mobiele Bi-Manuele Manipulatie

Samenvatting

We introduceren BiGym, een nieuwe benchmark en leeromgeving voor mobiele bi-manuele demo-gestuurde robotmanipulatie. BiGym bevat 40 diverse taken in huiselijke omgevingen, variërend van eenvoudig doelbereik tot complexe keukenreiniging. Om de prestaties in de echte wereld nauwkeurig vast te leggen, bieden we door mensen verzamelde demonstraties voor elke taak, die de diverse modaliteiten in echte robottrajectorieën weerspiegelen. BiGym ondersteunt een verscheidenheid aan observaties, waaronder proprioceptieve gegevens en visuele invoer zoals RGB en diepte vanuit 3 camerabeelden. Om de bruikbaarheid van BiGym te valideren, benchmarken we grondig de state-of-the-art imitatieleeralgoritmen en demo-gestuurde reinforcement learning-algoritmen binnen de omgeving en bespreken we de toekomstige mogelijkheden.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.

BiGym: Een Demo-Gestuurde Benchmark voor Mobiele Bi-Manuele Manipulatie

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

Samenvatting

Support