CyberDemo: Erweiterung simulierter menschlicher Demonstrationen für geschickte Manipulation in der realen Welt

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Autoren: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Zusammenfassung

Wir stellen CyberDemo vor, einen neuartigen Ansatz für das Imitationslernen in der Robotik, der simulierte menschliche Demonstrationen für reale Aufgaben nutzt. Durch die Einbindung umfangreicher Datenaugmentation in einer simulierten Umgebung übertrifft CyberDemo traditionelle, domänenspezifische Demonstrationen aus der realen Welt, wenn es in die reale Welt übertragen wird, und bewältigt dabei diverse physische und visuelle Bedingungen. Trotz seiner Kosteneffizienz und Bequemlichkeit bei der Datenerfassung übertrifft CyberDemo Baseline-Methoden in Bezug auf die Erfolgsraten bei verschiedenen Aufgaben und zeigt Generalisierungsfähigkeit mit zuvor unbekannten Objekten. Beispielsweise kann es neuartige Tetra- und Pentaventile drehen, obwohl die menschlichen Demonstrationen nur Tri-Ventile umfassten. Unsere Forschung demonstriert das erhebliche Potenzial simulierter menschlicher Demonstrationen für geschickte Manipulationsaufgaben in der realen Welt. Weitere Details finden Sie unter https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io