RoboDojo: 汎用ロボット操作ポリシーの包括的評価のための統合シミュレーション・実環境ベンチマーク

要旨

汎用ロボット操作ポリシーは急速に進歩しているが、既存のベンチマークはその能力を体系的に評価する上で限界がある。多くは単純、短期、または狭いスキルのタスクに依存しており、能力のカバレッジが限られており、シミュレーションのみ、または実世界のみで実施されることが多い。シミュレーションはスケーラブルなフィードバックを可能にするが、物理的な展開の課題を見落とし、一方で実世界での評価はコストが高く、時間がかかり、再現が困難である。本稿では、汎用ロボット操作ポリシーの包括的な評価のための、シミュレーションと実世界を統合したベンチマークであるRoboDojoを紹介する。RoboDojoは、多様で補完的な操作能力を網羅する42のシミュレーションタスクと18の実世界タスクを含む。シミュレーションベンチマークは、汎化、記憶、精度、長期実行、オープンボキャブラリ指示追従の5つの次元を評価し、実世界ベンチマークはポリシーを困難な物理世界展開条件にさらす。RoboDojoは、Isaac Simにおける異種並列シミュレーションを通じてスケーラブルな評価をサポートし、リモートクラウドアクセス、標準化されたハードウェア、シーンリセット、評価プロトコル、展開インターフェースを備えた再現可能な実世界評価システムであるRoboDojo-RealEvalを提供する。XPolicyLabと連携することで、ポリシーを一度統合すれば、最小限の適応でシミュレーションと実世界の両方の設定で評価できる。我々は30のポリシーをXPolicyLabに統合し、RoboDojo上で評価して、公開リーダーボードと現在のポリシーパフォーマンスの体系的分析を確立する。ウェブサイトは http://robodojo-benchmark.com/ で公開されている。

English

Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.