DEXOP: Un Dispositivo per il Trasferimento Robotico della Manipolazione Umana Abile

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

September 4, 2025

Autori: Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal

cs.AI

Abstract

Introduciamo il paradigma della perioperazione, un approccio per la raccolta di dati robotici che sensorizza e registra la manipolazione umana massimizzando la trasferibilità dei dati ai robot reali. Implementiamo questo paradigma in DEXOP, un esoscheletro passivo per la mano progettato per massimizzare la capacità umana di raccogliere dati sensoriali ricchi (visione + tattili) per una varietà di compiti di manipolazione manuale in ambienti naturali. DEXOP collega meccanicamente le dita umane a quelle del robot, fornendo agli utenti un feedback diretto del contatto (tramite propriocezione) e riflettendo la postura della mano umana sulla mano passiva del robot per massimizzare il trasferimento delle abilità dimostrate al robot. Il feedback della forza e il mirroring della postura rendono le dimostrazioni dei compiti più naturali per gli esseri umani rispetto alla teleoperazione, aumentando sia la velocità che l'accuratezza. Valutiamo DEXOP su una gamma di compiti manuali ricchi di contatto, dimostrando la sua capacità di raccogliere dati di dimostrazione di alta qualità su larga scala. Le politiche apprese con i dati di DEXOP migliorano significativamente le prestazioni dei compiti per unità di tempo di raccolta dati rispetto alla teleoperazione, rendendo DEXOP uno strumento potente per avanzare la destrezza robotica. La nostra pagina del progetto è disponibile all'indirizzo https://dex-op.github.io.

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.