RoboDojo: Un benchmark unificado de simulación y real para la evaluación integral de políticas generalistas de manipulación robótica

Resumen

Las políticas de manipulación robótica generalistas han avanzado rápidamente, pero los puntos de referencia existentes siguen siendo limitados para evaluar sistemáticamente sus capacidades. Muchos se basan en tareas simples, de horizonte corto o de habilidades reducidas, con una cobertura de capacidades limitada, y a menudo se realizan solo en simulación o solo en el mundo real. La simulación permite una retroalimentación escalable, pero omite los desafíos del despliegue físico, mientras que la evaluación en el mundo real es costosa, requiere mucho tiempo y es difícil de reproducir. Presentamos RoboDojo, un punto de referencia unificado de simulación y mundo real para la evaluación integral de políticas de manipulación robótica generalistas. RoboDojo incluye 42 tareas de simulación y 18 tareas del mundo real que abarcan capacidades de manipulación diversas y complementarias. El punto de referencia de simulación evalúa cinco dimensiones: generalización, memoria, precisión, ejecución de horizonte largo y seguimiento de instrucciones con vocabulario abierto, mientras que el punto de referencia del mundo real expone las políticas a condiciones desafiantes de despliegue en el mundo físico. RoboDojo admite una evaluación escalable mediante simulación paralela heterogénea en Isaac Sim y proporciona RoboDojo-RealEval, un sistema de evaluación reproducible en el mundo real con acceso remoto en la nube, hardware estandarizado, reinicio de escena, protocolo de evaluación e interfaz de despliegue. Junto con XPolicyLab, las políticas se pueden integrar una vez y evaluar en entornos de simulación y del mundo real con una adaptación mínima. Integramos 30 políticas en XPolicyLab y las evaluamos en RoboDojo, estableciendo una tabla de clasificación pública y un análisis sistemático del rendimiento actual de las políticas. El sitio web está disponible en http://robodojo-benchmark.com/.

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.