RoboDojo: Um Benchmark Unificado Sim-e-Real para Avaliação Abrangente de Políticas Generalistas de Manipulação Robótica

Resumo

Políticas de manipulação robótica generalista avançaram rapidamente, no entanto, os referenciais existentes ainda são limitados na avaliação sistemática de suas capacidades. Muitos dependem de tarefas simples, de curto horizonte ou de habilidades restritas, com cobertura limitada de capacidades, e geralmente são conduzidos apenas em simulação ou apenas no mundo real. A simulação permite feedback escalável, mas ignora os desafios da implantação física, enquanto a avaliação no mundo real é cara, demorada e difícil de reproduzir. Apresentamos o RoboDojo, um referencial unificado de simulação e mundo real para avaliação abrangente de políticas de manipulação robótica generalista. O RoboDojo inclui 42 tarefas simuladas e 18 tarefas do mundo real, cobrindo capacidades de manipulação diversas e complementares. O referencial de simulação avalia cinco dimensões: generalização, memória, precisão, execução de longo horizonte e seguimento de instruções de vocabulário aberto, enquanto o referencial do mundo real expõe as políticas a condições desafiadoras de implantação no ambiente físico. O RoboDojo oferece suporte à avaliação escalável por meio de simulação paralela heterogênea no Isaac Sim e fornece o RoboDojo-RealEval, um sistema de avaliação reproduzível no mundo real com acesso remoto em nuvem, hardware padronizado, redefinição de cena, protocolo de avaliação e interface de implantação. Juntamente com o XPolicyLab, as políticas podem ser integradas uma vez e avaliadas em ambientes de simulação e mundo real com adaptação mínima. Integramos 30 políticas no XPolicyLab e as avaliamos no RoboDojo, estabelecendo um leaderboard público e uma análise sistemática do desempenho atual das políticas. O site está disponível em http://robodojo-benchmark.com/.

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.