RoboDojo: Een uniforme simulatie- en real-worldbenchmark voor uitgebreide evaluatie van generalistische robotmanipulatiebeleidslijnen

Samenvatting

Generalistische robotmanipulatiebeleid heeft zich snel ontwikkeld, maar bestaande benchmarks blijven beperkt in het systematisch evalueren van hun mogelijkheden. Velen vertrouwen op eenvoudige, kortetermijn- of vaardigheidsbeperkte taken met een beperkte dekkingsgraad van capaciteiten, en worden vaak alleen in simulatie of alleen in de echte wereld uitgevoerd. Simulatie maakt schaalbare feedback mogelijk, maar mist fysieke implementatie-uitdagingen, terwijl evaluatie in de echte wereld kostbaar, tijdrovend en moeilijk te reproduceren is. We introduceren RoboDojo, een uniforme sim-en-real benchmark voor uitgebreide evaluatie van generalistisch robotmanipulatiebeleid. RoboDojo omvat 42 simulatietaken en 18 taken in de echte wereld die diverse en complementaire manipulatiecapaciteiten bestrijken. De simulatiebenchmark evalueert vijf dimensies: generalisatie, geheugen, precisie, uitvoering over een lange horizon en het volgen van open-vocabulaire instructies, terwijl de benchmark in de echte wereld beleid blootstelt aan uitdagende fysieke implementatieomstandigheden. RoboDojo ondersteunt schaalbare evaluatie via heterogene parallelle simulatie in Isaac Sim en biedt RoboDojo-RealEval, een reproduceerbaar evaluatiesysteem in de echte wereld met externe cloudtoegang, gestandaardiseerde hardware, scènereset, evaluatieprotocol en implementatie-interface. Samen met XPolicyLab kan beleid eenmalig worden geïntegreerd en geëvalueerd in zowel simulatie- als echte-wereldinstellingen met minimale aanpassingen. We integreren 30 beleidslijnen in XPolicyLab en evalueren ze op RoboDojo, wat leidt tot een openbaar klassement en een systematische analyse van de huidige beleidsprestaties. De website is beschikbaar op http://robodojo-benchmark.com/.

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.