RoboDojo: Ein einheitlicher Sim-und-Real-Benchmark zur umfassenden Bewertung generalistischer Roboter-Manipulationsstrategien

Zusammenfassung

Allgemeine Roboter-Manipulationsstrategien haben sich rasant weiterentwickelt, doch bestehende Benchmarks bleiben in der systematischen Bewertung ihrer Fähigkeiten begrenzt. Viele stützen sich auf einfache, kurzzeitige oder fähigkeitsspezifische Aufgaben mit eingeschränkter Abdeckung und werden oft nur in der Simulation oder nur in der realen Welt durchgeführt. Die Simulation ermöglicht skalierbares Feedback, übersieht aber physikalische Herausforderungen der realen Umsetzung, während die Evaluierung in der realen Welt kostspielig, zeitaufwändig und schwer reproduzierbar ist. Wir stellen RoboDojo vor, einen vereinheitlichten Sim-und-Real-Benchmark für die umfassende Bewertung allgemeiner Roboter-Manipulationsstrategien. RoboDojo umfasst 42 Simulationsaufgaben und 18 reale Aufgaben, die vielfältige und sich ergänzende Manipulationsfähigkeiten abdecken. Der Simulations-Benchmark bewertet fünf Dimensionen: Generalisierung, Gedächtnis, Präzision, langfristige Ausführung und Befolgung von Anweisungen mit offenem Vokabular, während der reale Benchmark die Strategien mit herausfordernden physikalischen Einsatzbedingungen konfrontiert. RoboDojo unterstützt eine skalierbare Evaluierung durch heterogene parallele Simulation in Isaac Sim und bietet RoboDojo-RealEval, ein reproduzierbares reales Evaluierungssystem mit Fernzugriff über die Cloud, standardisierter Hardware, Szenenrücksetzung, Evaluierungsprotokoll und Bereitstellungsschnittstelle. Zusammen mit XPolicyLab können Strategien einmal integriert und mit minimaler Anpassung sowohl in der Simulation als auch in der realen Welt evaluiert werden. Wir integrieren 30 Strategien in XPolicyLab und evaluieren sie auf RoboDojo, wobei wir eine öffentliche Rangliste und eine systematische Analyse der aktuellen Strategieleistung erstellen. Die Website ist verfügbar unter http://robodojo-benchmark.com/.

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.