DexJoCo: Ein Benchmark und Toolkit für aufgabenorientierte geschickte Manipulation auf MuJoCo

Zusammenfassung

Das Erreichen menschenähnlicher Manipulation erfordert geschickte Roboterhände, die komplexe Objektinteraktionen bewältigen können. Um solche Fähigkeiten weiterzuentwickeln, sind standardisierte Benchmarks für eine systematische Evaluierung erforderlich. Allerdings fehlen bestehenden Benchmarks für geschickte Manipulation Aufgaben, die die einzigartigen Manipulationsfähigkeiten geschickter Hände im Vergleich zu Parallelgreifern widerspiegeln, sowie umfassende Evaluierungspipelines. In dieser Arbeit stellen wir DexJoCo vor, einen Benchmark und ein Toolkit für aufgabenorientierte geschickte Manipulation, bestehend aus 11 funktional fundierten Aufgaben, die den Werkzeuggebrauch, die bimanuelle Koordination, die langfristige Ausführung und das Schlussfolgern evaluieren. Wir entwickeln ein kostengünstiges Datenerfassungssystem und sammeln 1.1K Trajektorien über diese Aufgaben hinweg, mit Unterstützung für Domänenrandomisierung zur Bewertung der Robustheit. Wir benchmarken moderne Modelle unter verschiedenen Bedingungen, einschließlich visueller und dynamischer Randomisierung, Multi-Task-Training und Anpassung des Aktionskopfes. Durch umfangreiche empirische Analysen identifizieren wir mehrere wichtige Erkenntnisse und häufige Einschränkungen aktueller Politiken in der geschickten Manipulation und heben zentrale Herausforderungen für die zukünftige Forschung im Lernen von Robotern mit geschickten Händen hervor. Die Projektseite ist verfügbar unter: https://dexjoco.github.io

English

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io