CyberDemo : Amélioration des démonstrations humaines simulées pour la manipulation dextre en environnement réel

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Auteurs: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Résumé

Nous présentons CyberDemo, une nouvelle approche d'apprentissage par imitation robotique qui exploite des démonstrations humaines simulées pour des tâches du monde réel. En intégrant une augmentation extensive des données dans un environnement simulé, CyberDemo surpasse les démonstrations traditionnelles réalisées dans le domaine réel lorsqu'elle est transférée dans le monde réel, gérant ainsi diverses conditions physiques et visuelles. Malgré son accessibilité et sa commodité dans la collecte de données, CyberDemo surpasse les méthodes de référence en termes de taux de réussite sur diverses tâches et démontre une généralisation avec des objets jamais vus auparavant. Par exemple, elle peut faire pivoter des tétra-valves et des penta-valves inédites, bien que les démonstrations humaines n'aient impliqué que des tri-valves. Notre recherche met en évidence le potentiel significatif des démonstrations humaines simulées pour des tâches de manipulation dextre dans le monde réel. Plus de détails sont disponibles à l'adresse suivante : https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io