DexJoCo: MuJoCo에서의 작업 지향적 정밀 조작을 위한 벤치마크 및 툴킷

초록

인간 수준의 조작 능력을 달성하려면 복잡한 물체 상호작용이 가능한 고도의 손재주를 가진 로봇 손이 필요하다. 이러한 능력을 더욱 발전시키기 위해서는 체계적인 평가를 위한 표준화된 벤치마크가 요구된다. 그러나 기존의 고난이도 조작 벤치마크는 평행 그리퍼와 비교하여 고난이도 손만이 갖는 독특한 조작 능력을 반영하는 과제와 포괄적인 평가 파이프라인이 부족하다. 본 논문에서는 작업 지향적 고난이도 조작을 위한 벤치마크이자 툴킷인 DexJoCo를 제시한다. DexJoCo는 도구 사용, 양손 협응, 장기적 실행, 추론을 평가하는 11개의 기능 기반 과제로 구성된다. 또한 저비용 데이터 수집 시스템을 개발하여 이러한 과제 전반에 걸쳐 1,100개의 궤적을 수집하였으며, 강건성 평가를 위한 도메인 무작위화를 지원한다. 다양한 설정, 즉 시각 및 역학 무작위화, 다중 과제 학습, 행동 헤드 적응을 포함한 환경에서 최신 모델들을 벤치마킹하였다. 광범위한 실증 분석을 통해 고난이도 조작에서 현재 정책들의 중요한 통찰과 공통적인 한계를 파악하였으며, 이는 향후 고난이도 손 로봇 학습 연구의 주요 과제를 강조한다. 프로젝트 페이지는 https://dexjoco.github.io 에서 확인할 수 있다.

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io