BiGym: Ein Demo-gesteuerter mobiler Benchmark für bi-manipulative Manipulation

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Autoren: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Zusammenfassung

Wir stellen BiGym vor, einen neuen Benchmark und Lernumgebung für mobile bimanuelle demo-gesteuerte robotische Manipulation. BiGym umfasst 40 verschiedene Aufgaben in häuslichen Umgebungen, von einfachen Zielerreichungen bis hin zur komplexen Küchenreinigung. Um die Leistung in der realen Welt präzise zu erfassen, bieten wir für jede Aufgabe menschlich gesammelte Demonstrationen an, die die vielfältigen Modalitäten widerspiegeln, die in den Trajektorien von Robotern in der realen Welt zu finden sind. BiGym unterstützt eine Vielzahl von Beobachtungen, einschließlich propriozeptiver Daten und visueller Eingaben wie RGB sowie Tiefeninformationen aus 3 Kameraperspektiven. Um die Benutzerfreundlichkeit von BiGym zu validieren, benchmarken wir gründlich die state-of-the-art Imitationslernalgorithmen und demo-gesteuerten Verstärkungslernalgorithmen innerhalb der Umgebung und diskutieren zukünftige Möglichkeiten.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.