DEXOP: Um Dispositivo para Transferência Robótica de Manipulação Humana Habilidosa
DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation
September 4, 2025
Autores: Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal
cs.AI
Resumo
Apresentamos a perioperação, um paradigma para coleta de dados robóticos que sensoriza e registra a manipulação humana enquanto maximiza a transferibilidade dos dados para robôs reais. Implementamos esse paradigma no DEXOP, um exoesqueleto de mão passivo projetado para maximizar a capacidade humana de coletar dados sensoriais ricos (visão + tátil) para diversas tarefas de manipulação destra em ambientes naturais. O DEXOP conecta mecanicamente os dedos humanos aos dedos do robô, fornecendo aos usuários feedback de contato direto (via propriocepção) e espelhando a pose da mão humana na mão robótica passiva para maximizar a transferência das habilidades demonstradas para o robô. O feedback de força e o espelhamento de pose tornam as demonstrações de tarefas mais naturais para humanos em comparação com a teleoperação, aumentando tanto a velocidade quanto a precisão. Avaliamos o DEXOP em uma variedade de tarefas destras e ricas em contato, demonstrando sua capacidade de coletar dados de demonstração de alta qualidade em escala. Políticas aprendidas com dados do DEXOP melhoram significativamente o desempenho da tarefa por unidade de tempo de coleta de dados em comparação com a teleoperação, tornando o DEXOP uma ferramenta poderosa para avançar a destreza robótica. Nossa página do projeto está em https://dex-op.github.io.
English
We introduce perioperation, a paradigm for robotic data collection that
sensorizes and records human manipulation while maximizing the transferability
of the data to real robots. We implement this paradigm in DEXOP, a passive hand
exoskeleton designed to maximize human ability to collect rich sensory (vision
+ tactile) data for diverse dexterous manipulation tasks in natural
environments. DEXOP mechanically connects human fingers to robot fingers,
providing users with direct contact feedback (via proprioception) and mirrors
the human hand pose to the passive robot hand to maximize the transfer of
demonstrated skills to the robot. The force feedback and pose mirroring make
task demonstrations more natural for humans compared to teleoperation,
increasing both speed and accuracy. We evaluate DEXOP across a range of
dexterous, contact-rich tasks, demonstrating its ability to collect
high-quality demonstration data at scale. Policies learned with DEXOP data
significantly improve task performance per unit time of data collection
compared to teleoperation, making DEXOP a powerful tool for advancing robot
dexterity. Our project page is at https://dex-op.github.io.