RoboDojo: Единый симуляционно-реальный бенчмарк для всесторонней оценки универсальных политик манипуляции роботов

Аннотация

Политики универсального роботизированного манипулирования стремительно развиваются, однако существующие бенчмарки остаются ограниченными в систематической оценке их возможностей. Многие из них основаны на простых, краткосрочных или узкоспециализированных задачах с ограниченным охватом навыков и часто проводятся только в симуляции или только в реальном мире. Симуляция обеспечивает масштабируемую обратную связь, но упускает проблемы физического развертывания, в то время как оценка в реальном мире дорога, трудоемка и плохо воспроизводится. Мы представляем RoboDojo — унифицированный бенчмарк для симуляции и реального мира, предназначенный для всесторонней оценки политик универсального роботизированного манипулирования. RoboDojo включает 42 задачи симуляции и 18 задач реального мира, охватывающих разнообразные и взаимодополняющие навыки манипулирования. Бенчмарк в симуляции оценивает пять измерений: обобщение, память, точность, выполнение длительных последовательностей действий и следование инструкциям с открытым словарем, в то время как бенчмарк в реальном мире подвергает политики сложным условиям физического развертывания. RoboDojo поддерживает масштабируемую оценку через гетерогенную параллельную симуляцию в Isaac Sim и предоставляет RoboDojo-RealEval — воспроизводимую систему оценки реального мира с удаленным облачным доступом, стандартизированным оборудованием, сбросом сцен, протоколом оценки и интерфейсом развертывания. Вместе с XPolicyLab политики могут быть интегрированы один раз и оценены как в симуляции, так и в условиях реального мира с минимальной адаптацией. Мы интегрировали 30 политик в XPolicyLab и оценили их на RoboDojo, создав публичную таблицу лидеров и систематический анализ текущей производительности политик. Веб-сайт доступен по адресу http://robodojo-benchmark.com/.

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.