DEXOP: 세밀한 인간 조작을 로봇으로 전달하기 위한 장치

초록

로봇 데이터 수집을 위한 새로운 패러다임인 'perioperation'을 소개한다. 이 패러다임은 인간의 조작 과정을 센서화하고 기록함과 동시에, 수집된 데이터가 실제 로봇으로의 전이성을 극대화하도록 설계되었다. 이를 구현한 DEXOP은 자연 환경에서 다양한 정교한 조작 작업을 위한 풍부한 감각(시각 + 촉각) 데이터를 수집할 수 있도록 인간의 능력을 극대화한 패시브 핸드 엑소스켈레톤이다. DEXOP은 인간의 손가락을 로봇 손가락에 기계적으로 연결하여 사용자에게 직접적인 접촉 피드백(고유수용감각을 통해)을 제공하고, 인간의 손 자세를 패시브 로봇 손에 반영함으로써 시연된 기술이 로봇으로 최대한 전달되도록 한다. 힘 피드백과 자세 반영은 원격 조작에 비해 인간에게 더 자연스러운 작업 시연을 가능하게 하여 속도와 정확성을 모두 향상시킨다. DEXOP은 다양한 접촉이 많은 정교한 작업에 걸쳐 평가되었으며, 대규모로 고품질의 시연 데이터를 수집할 수 있는 능력을 입증했다. DEXOP 데이터로 학습된 정책은 원격 조작에 비해 데이터 수집 단위 시간당 작업 성능을 크게 향상시켜, 로봇의 정교함을 발전시키는 강력한 도구임을 보여준다. 프로젝트 페이지는 https://dex-op.github.io에서 확인할 수 있다.

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.

DEXOP: 세밀한 인간 조작을 로봇으로 전달하기 위한 장치

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

초록

Support