DEXOP: Ein Gerät zur robotergestützten Übertragung geschickter menschlicher Manipulation

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

September 4, 2025

papers.authors: Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal

cs.AI

papers.abstract

Wir stellen perioperation vor, ein Paradigma für die robotische Datenerfassung, das menschliche Manipulation sensorisiert und aufzeichnet, während die Übertragbarkeit der Daten auf reale Roboter maximiert wird. Wir implementieren dieses Paradigma in DEXOP, einem passiven Hand-Exoskelett, das darauf ausgelegt ist, die menschliche Fähigkeit zur Erfassung umfangreicher sensorischer (visueller + taktiler) Daten für vielfältige geschickte Manipulationsaufgaben in natürlichen Umgebungen zu maximieren. DEXOP verbindet menschliche Finger mechanisch mit Roboterfingern, bietet Nutzern direkte Kontakt-Rückmeldung (über Propriozeption) und spiegelt die Pose der menschlichen Hand auf die passive Roboterhand, um die Übertragung demonstrierter Fähigkeiten auf den Roboter zu maximieren. Die Kraftrückmeldung und Posenspiegelung machen Aufgaben-Demonstrationen für Menschen im Vergleich zur Teleoperation natürlicher, was sowohl die Geschwindigkeit als auch die Genauigkeit erhöht. Wir evaluieren DEXOP über eine Reihe geschickter, kontaktintensiver Aufgaben und demonstrieren seine Fähigkeit, hochwertige Demonstrationsdaten in großem Maßstab zu sammeln. Mit DEXOP-Daten gelernte Strategien verbessern die Aufgabenleistung pro Zeiteinheit der Datenerfassung im Vergleich zur Teleoperation signifikant, was DEXOP zu einem leistungsstarken Werkzeug für die Weiterentwicklung der Geschicklichkeit von Robotern macht. Unsere Projektseite finden Sie unter https://dex-op.github.io.

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.