DexJoCo: Een Benchmark en Toolkit voor Taakgerichte Behendige Manipulatie op MuJoCo

Samenvatting

Het bereiken van manipulatie op menselijk niveau vereist behendige robot handen die complexe interacties met objecten kunnen uitvoeren. Het verder bevorderen van dergelijke capaciteiten vraagt om gestandaardiseerde benchmarks voor systematische evaluatie. Echter, bestaande benchmarks voor behendigheid missen taken die de unieke manipulatiemogelijkheden van behendige handen ten opzichte van parallelle grijpers weerspiegelen, evenals uitgebreide evaluatiepijplijnen. In dit artikel presenteren we DexJoCo, een benchmark en toolkit voor taakgerichte behendige manipulatie, bestaande uit 11 functioneel gefundeerde taken die gereedschapsgebruik, bimanuele coördinatie, uitvoering over een lange horizon en redeneren evalueren. We ontwikkelen een goedkoop dataverzamelingssysteem en verzamelen 1.1K trajecten over deze taken, met ondersteuning voor domeinrandomisatie om robuustheid te beoordelen. We benchmarken moderne modellen onder diverse instellingen, waaronder visuele en dynamische randomisatie, multi-taak training en action-head aanpassing. Door middel van uitgebreide empirische analyse identificeren we verscheidene belangrijke inzichten en veelvoorkomende beperkingen van huidige beleidsstrategieën in behendige manipulatie, wat de belangrijkste uitdagingen voor toekomstig onderzoek naar robot leren met behendige handen benadrukt. Projectpagina beschikbaar op: https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io