DexJoCo: Um Benchmark e Kit de Ferramentas para Manipulação Hábil Orientada a Tarefas no MuJoCo

Resumo

Alcançar a manipulação em nível humano requer mãos robóticas hábeis capazes de interações complexas com objetos. Avançar ainda mais essas capacidades exige benchmarks padronizados para avaliação sistemática. No entanto, os benchmarks hábeis existentes carecem de tarefas que reflitam as capacidades únicas de manipulação das mãos hábeis em relação aos grippers paralelos, bem como pipelines de avaliação abrangentes. Neste artigo, apresentamos o DexJoCo, um benchmark e toolkit para manipulação hábil orientada a tarefas, composto por 11 tarefas funcionalmente fundamentadas que avaliam o uso de ferramentas, coordenação bimanual, execução de longo horizonte e raciocínio. Desenvolvemos um sistema de coleta de dados de baixo custo e coletamos 1,1 mil trajetórias nessas tarefas, com suporte para randomização de domínio para avaliar a robustez. Avaliamos modelos modernos em diversas condições, incluindo randomização visual e de dinâmica, treinamento multitarefa e adaptação de cabeça de ação. Por meio de análise empírica extensa, identificamos várias percepções importantes e limitações comuns das políticas atuais em manipulação hábil, destacando desafios-chave para pesquisas futuras em aprendizado de robôs com mãos hábeis. Página do projeto disponível em: https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io