CyberDemo: Ampliando Demonstrações Humanas Simuladas para Manipulação Hábil no Mundo Real

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Autores: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Resumo

Apresentamos o CyberDemo, uma abordagem inovadora para aprendizado por imitação em robótica que utiliza demonstrações humanas simuladas para tarefas do mundo real. Ao incorporar uma extensa ampliação de dados em um ambiente simulado, o CyberDemo supera as demonstrações tradicionais realizadas diretamente no mundo real quando transferido para o ambiente físico, lidando com diversas condições físicas e visuais. Apesar de sua acessibilidade e conveniência na coleta de dados, o CyberDemo supera métodos de referência em termos de taxas de sucesso em várias tarefas e demonstra generalização com objetos previamente não vistos. Por exemplo, ele consegue rotacionar válvulas tetra e penta novas, mesmo que as demonstrações humanas tenham envolvido apenas válvulas tri. Nossa pesquisa demonstra o potencial significativo das demonstrações humanas simuladas para tarefas de manipulação hábil no mundo real. Mais detalhes podem ser encontrados em https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io