CyberDemo: Potenziamento delle Dimostrazioni Umane Simulate per la Manipolazione Abile nel Mondo Reale

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Autori: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Abstract

Presentiamo CyberDemo, un approccio innovativo all'apprendimento per imitazione robotica che sfrutta dimostrazioni umane simulate per compiti nel mondo reale. Incorporando un'ampia augmentazione dei dati in un ambiente simulato, CyberDemo supera le tradizionali dimostrazioni in dominio reale quando trasferito nel mondo fisico, gestendo condizioni fisiche e visive diverse. Nonostante la sua economicità e convenienza nella raccolta dati, CyberDemo supera i metodi di riferimento in termini di tassi di successo su vari compiti e mostra generalizzabilità con oggetti mai visti prima. Ad esempio, è in grado di ruotare nuove valvole tetra e penta, nonostante le dimostrazioni umane coinvolgano solo valvole tri. La nostra ricerca dimostra il significativo potenziale delle dimostrazioni umane simulate per compiti di manipolazione abile nel mondo reale. Ulteriori dettagli sono disponibili all'indirizzo https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io