DexJoCo: MuJoCo上でのタスク指向型器用操作のためのベンチマークとツールキット

要旨

人間レベルの操作を実現するには、複雑な物体操作が可能な器用なロボットハンドが必要である。さらなる能力向上のためには、体系的な評価のための標準化されたベンチマークが求められる。しかし、既存の器用操作ベンチマークには、パラレルグリッパと比較した器用ハンド特有の操作能力を反映したタスクや、包括的な評価パイプラインが不足している。本論文では、タスク指向の器用操作のためのベンチマークおよびツールキットであるDexJoCoを提案する。DexJoCoは、ツール使用、両手協調、長期的実行、推論を評価する11の機能的に基づいたタスクで構成される。低コストのデータ収集システムを開発し、これらのタスクにわたって1.1Kの軌道を収集し、ロバスト性評価のためのドメインランダム化をサポートする。我々は、視覚と動学のランダム化、マルチタスク学習、アクションヘッド適応など多様な設定下で現代のモデルをベンチマークする。広範な実証分析を通じて、現在の器用操作ポリシーにおける重要な知見と共通の限界を特定し、器用ハンドロボット学習における今後の研究の主要な課題を明らかにする。プロジェクトページ：https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io