CyberDemo: Расширение возможностей симулированных демонстраций человека для реализации ловких манипуляций в реальном мире
CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation
February 22, 2024
Авторы: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang
cs.AI
Аннотация
Мы представляем CyberDemo — новый подход к обучению роботов методом имитации, который использует симулированные демонстрации человека для выполнения задач в реальном мире. Благодаря применению расширенной аугментации данных в симулированной среде, CyberDemo превосходит традиционные методы, основанные на реальных демонстрациях, при переносе в реальный мир, успешно справляясь с разнообразными физическими и визуальными условиями. Несмотря на доступность и удобство сбора данных, CyberDemo демонстрирует более высокие показатели успешности выполнения задач по сравнению с базовыми методами и проявляет обобщаемость при работе с ранее неизвестными объектами. Например, он способен вращать новые тетра- и пента-клапаны, несмотря на то, что демонстрации человека включали только три-клапаны. Наше исследование показывает значительный потенциал симулированных демонстраций человека для выполнения задач ловкого манипулирования в реальном мире. Подробности можно найти на https://cyber-demo.github.io.
English
We introduce CyberDemo, a novel approach to robotic imitation learning that
leverages simulated human demonstrations for real-world tasks. By incorporating
extensive data augmentation in a simulated environment, CyberDemo outperforms
traditional in-domain real-world demonstrations when transferred to the real
world, handling diverse physical and visual conditions. Regardless of its
affordability and convenience in data collection, CyberDemo outperforms
baseline methods in terms of success rates across various tasks and exhibits
generalizability with previously unseen objects. For example, it can rotate
novel tetra-valve and penta-valve, despite human demonstrations only involving
tri-valves. Our research demonstrates the significant potential of simulated
human demonstrations for real-world dexterous manipulation tasks. More details
can be found at https://cyber-demo.github.io