DEXOP: Un Dispositivo para la Transferencia Robótica de la Manipulación Hábil Humana

Resumen

Introducimos el concepto de perioperación, un paradigma para la recolección de datos robóticos que sensoriza y registra la manipulación humana mientras maximiza la transferibilidad de los datos a robots reales. Implementamos este paradigma en DEXOP, un exoesqueleto de mano pasivo diseñado para maximizar la capacidad humana de recolectar datos sensoriales ricos (visión + táctiles) para diversas tareas de manipulación diestra en entornos naturales. DEXOP conecta mecánicamente los dedos humanos con los dedos de un robot, proporcionando a los usuarios retroalimentación de contacto directo (a través de la propiocepción) y reflejando la postura de la mano humana en la mano robótica pasiva para maximizar la transferencia de habilidades demostradas al robot. La retroalimentación de fuerza y el reflejo de la postura hacen que las demostraciones de tareas sean más naturales para los humanos en comparación con la teleoperación, aumentando tanto la velocidad como la precisión. Evaluamos DEXOP en una variedad de tareas diestras y ricas en contacto, demostrando su capacidad para recolectar datos de demostración de alta calidad a gran escala. Las políticas aprendidas con los datos de DEXOP mejoran significativamente el rendimiento de las tareas por unidad de tiempo de recolección de datos en comparación con la teleoperación, convirtiendo a DEXOP en una herramienta poderosa para avanzar en la destreza robótica. Nuestra página del proyecto se encuentra en https://dex-op.github.io.

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.

DEXOP: Un Dispositivo para la Transferencia Robótica de la Manipulación Hábil Humana

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

Resumen

Support