DEXOP: Een apparaat voor robotische overdracht van behendige menselijke manipulatie

Samenvatting

We introduceren perioperatie, een paradigma voor robotische dataverzameling dat menselijke manipulatie sensoriseert en vastlegt terwijl de overdraagbaarheid van de data naar echte robots wordt gemaximaliseerd. We implementeren dit paradigma in DEXOP, een passieve handexoskelet ontworpen om het menselijk vermogen te maximaliseren om rijke sensorische (visuele + tactiele) data te verzamelen voor diverse behendige manipulatietaken in natuurlijke omgevingen. DEXOP verbindt mechanisch menselijke vingers met robotvingers, biedt gebruikers directe contactfeedback (via proprioceptie) en spiegelt de menselijke handhouding naar de passieve robothand om de overdracht van gedemonstreerde vaardigheden naar de robot te maximaliseren. De krachtfeedback en houdingsspiegeling maken taakdemonstraties natuurlijker voor mensen vergeleken met teleoperatie, wat zowel snelheid als nauwkeurigheid verhoogt. We evalueren DEXOP over een reeks behendige, contactrijke taken, waarbij we het vermogen aantonen om hoogwaardige demonstratiedata op grote schaal te verzamelen. Beleidsregels die met DEXOP-data worden geleerd, verbeteren de taakprestaties per eenheid van dataverzamelingstijd aanzienlijk vergeleken met teleoperatie, waardoor DEXOP een krachtig hulpmiddel is voor het bevorderen van robotbehendigheid. Onze projectpagina is te vinden op https://dex-op.github.io.

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.

DEXOP: Een apparaat voor robotische overdracht van behendige menselijke manipulatie

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

Samenvatting

Support