DexJoCo: Un Benchmark y Kit de Herramientas para la Manipulación Diestra Orientada a Tareas en MuJoCo

Resumen

Lograr una manipulación a nivel humano requiere manos robóticas diestras capaces de realizar interacciones complejas con objetos. Avanzar aún más en dichas capacidades exige puntos de referencia estandarizados para una evaluación sistemática. Sin embargo, los puntos de referencia diestros existentes carecen de tareas que reflejen las capacidades de manipulación únicas de las manos diestras frente a las pinzas paralelas, así como de tuberías de evaluación integrales. En este artículo, presentamos DexJoCo, un benchmark y conjunto de herramientas para la manipulación diestra orientada a tareas, que comprende 11 tareas funcionalmente fundamentadas que evalúan el uso de herramientas, la coordinación bimanual, la ejecución de largo horizonte y el razonamiento. Desarrollamos un sistema de recolección de datos de bajo costo y recolectamos 1.1K trayectorias en estas tareas, con soporte para aleatorización de dominio para evaluar la robustez. Evaluamos modelos modernos bajo diversas configuraciones, incluyendo aleatorización visual y dinámica, entrenamiento multitarea y adaptación de cabezales de acción. Mediante un análisis empírico exhaustivo, identificamos varias ideas importantes y limitaciones comunes de las políticas actuales en manipulación diestra, destacando desafíos clave para futuras investigaciones en aprendizaje de robots con manos diestras. Página del proyecto disponible en: https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io