DexJoCo : Un benchmark et une boîte à outils pour la manipulation dextre orientée tâche sur MuJoCo

Résumé

Atteindre un niveau de manipulation comparable à celui des humains nécessite des mains robotiques dextres capables d'interactions complexes avec les objets. Pour progresser dans cette direction, des référentiels standardisés permettant une évaluation systématique sont indispensables. Cependant, les référentiels existants pour la manipulation dextre manquent de tâches reflétant les capacités uniques des mains dextres par rapport aux pinces parallèles, ainsi que de pipelines d'évaluation complets. Dans cet article, nous présentons DexJoCo, un référentiel et une boîte à outils pour la manipulation dextre orientée tâche, comprenant 11 tâches fonctionnellement fondées qui évaluent l'utilisation d'outils, la coordination bimanuelle, l'exécution à long horizon et le raisonnement. Nous développons un système de collecte de données à faible coût et recueillons 1 100 trajectoires sur ces tâches, avec un support pour la randomisation des domaines afin d'évaluer la robustesse. Nous évaluons les modèles modernes dans divers contextes, incluant la randomisation visuelle et dynamique, l'entraînement multitâche et l'adaptation des têtes d'action. Grâce à une analyse empirique approfondie, nous identifions plusieurs informations importantes et limitations courantes des politiques actuelles en matière de manipulation dextre, mettant en évidence les défis clés pour les futures recherches sur l'apprentissage des mains robotiques dextres. Page du projet disponible à l'adresse : https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io