DexJoCo: Бенчмарк и инструментарий для целенаправленного ловкого манипулирования в MuJoCo

Аннотация

Достижение манипуляций на уровне человека требует наличия ловких роботизированных рук, способных к сложным взаимодействиям с объектами. Дальнейшее развитие таких возможностей обусловлено необходимостью в стандартизированных бенчмарках для систематической оценки. Однако существующие бенчмарки для ловких манипуляций не содержат задач, отражающих уникальные возможности ловких рук по сравнению с параллельными захватами, а также комплексных оценочных конвейеров. В данной работе мы представляем DexJoCo — бенчмарк и инструментарий для задачно-ориентированной ловкой манипуляции, включающий 11 функционально обоснованных задач, оценивающих использование инструментов, двуручную координацию, долгосрочное выполнение и рассуждение. Мы разрабатываем недорогую систему сбора данных и собираем 1,1 тыс. траекторий по всем этим задачам с поддержкой рандомизации условий для оценки робастности. Мы оцениваем современные модели в различных условиях, включая визуальную рандомизацию и рандомизацию динамики, мультизадачное обучение и адаптацию головы действий. На основе обширного эмпирического анализа мы выявляем несколько важных закономерностей и общих ограничений текущих стратегий в области ловкой манипуляции, подчеркивая ключевые вызовы для будущих исследований в области обучения ловких роботизированных рук. Страница проекта доступна по адресу: https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io