CyberDemo: Aumentando la demostración humana simulada para la manipulación diestra en el mundo real

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Autores: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Resumen

Presentamos CyberDemo, un enfoque novedoso para el aprendizaje por imitación robótica que aprovecha demostraciones humanas simuladas para tareas del mundo real. Al incorporar una amplia ampliación de datos en un entorno simulado, CyberDemo supera a las demostraciones tradicionales en el dominio del mundo real cuando se transfiere a este, manejando diversas condiciones físicas y visuales. A pesar de su asequibilidad y conveniencia en la recolección de datos, CyberDemo supera a los métodos de referencia en términos de tasas de éxito en diversas tareas y exhibe generalización con objetos previamente no vistos. Por ejemplo, puede rotar tetra-válvulas y penta-válvulas novedosas, a pesar de que las demostraciones humanas solo involucraban tri-válvulas. Nuestra investigación demuestra el potencial significativo de las demostraciones humanas simuladas para tareas de manipulación diestra en el mundo real. Más detalles se pueden encontrar en https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io