CyberDemo: Расширение возможностей симулированных демонстраций человека для реализации ловких манипуляций в реальном мире

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

February 22, 2024

Авторы: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang

cs.AI

Аннотация

Мы представляем CyberDemo — новый подход к обучению роботов методом имитации, который использует симулированные демонстрации человека для выполнения задач в реальном мире. Благодаря применению расширенной аугментации данных в симулированной среде, CyberDemo превосходит традиционные методы, основанные на реальных демонстрациях, при переносе в реальный мир, успешно справляясь с разнообразными физическими и визуальными условиями. Несмотря на доступность и удобство сбора данных, CyberDemo демонстрирует более высокие показатели успешности выполнения задач по сравнению с базовыми методами и проявляет обобщаемость при работе с ранее неизвестными объектами. Например, он способен вращать новые тетра- и пента-клапаны, несмотря на то, что демонстрации человека включали только три-клапаны. Наше исследование показывает значительный потенциал симулированных демонстраций человека для выполнения задач ловкого манипулирования в реальном мире. Подробности можно найти на https://cyber-demo.github.io.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io