CyberDemo: 실세계 정밀 조작을 위한 시뮬레이션된 인간 데모의 확장

초록

본 논문에서는 실제 세계의 작업을 위해 시뮬레이션된 인간 데모를 활용하는 새로운 로봇 모방 학습 접근법인 CyberDemo를 소개한다. 시뮬레이션 환경에서 광범위한 데이터 증강을 통합함으로써, CyberDemo는 실제 세계로 전이될 때 다양한 물리적 및 시각적 조건을 처리하며 기존의 실제 세계 데모를 능가한다. 데이터 수집의 경제성과 편의성에도 불구하고, CyberDemo는 다양한 작업에서 성공률 측면에서 기준 방법들을 능가하며, 이전에 보지 못한 물체에 대한 일반화 능력을 보여준다. 예를 들어, 인간 데모가 삼중 밸브만을 포함했음에도 불구하고, 새로운 사중 밸브와 오중 밸브를 회전시킬 수 있다. 본 연구는 실제 세계의 정교한 조작 작업을 위한 시뮬레이션된 인간 데모의 상당한 잠재력을 입증한다. 더 자세한 내용은 https://cyber-demo.github.io에서 확인할 수 있다.

English

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io

CyberDemo: 실세계 정밀 조작을 위한 시뮬레이션된 인간 데모의 확장

CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

초록

Support