CyberDemo: Verbetering van Gesimuleerde Menselijke Demonstratie voor Real-World Behendige Manipulatie

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Auteurs: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Samenvatting

We introduceren CyberDemo, een nieuwe benadering voor robotische imitatieleren die gebruikmaakt van gesimuleerde menselijke demonstraties voor taken in de echte wereld. Door uitgebreide data-augmentatie toe te passen in een gesimuleerde omgeving, presteert CyberDemo beter dan traditionele in-domain demonstraties uit de echte wereld wanneer het wordt overgedragen naar de echte wereld, waarbij het diverse fysieke en visuele omstandigheden aankan. Ondanks de betaalbaarheid en het gemak van dataverzameling, overtreft CyberDemo baseline-methoden wat betreft slagingspercentages bij verschillende taken en toont het generaliseerbaarheid met voorheen onbekende objecten. Het kan bijvoorbeeld nieuwe tetra- en pentakleppen draaien, ondanks dat menselijke demonstraties alleen driekleppen betroffen. Ons onderzoek toont het aanzienlijke potentieel van gesimuleerde menselijke demonstraties voor behendige manipulatietaken in de echte wereld. Meer details zijn te vinden op https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io