DreamX-Phi 1.0: ロボット操作のための行動条件付きビデオ世界モデル

要旨

我々は、観測フレーム、言語命令、およびエンドエフェクタのポーズとグリッパー状態からなる所定のアクション系列が与えられたときに、結果として生じる将来の観測を予測する、ロボット操作のためのアクション条件付きビデオワールドモデルであるDreamX-Phi 1.0を提案する。しかしながら、リアリズムだけでは忠実性は保証されない。説得力のあるロールアウトであっても、誤ったアームを動かしたり、操作対象のオブジェクトを見失ったりする可能性がある。予測が各アームの指令された経路に従うことを保証するため、PRoPEスタイルの幾何学的エンコーディングを介してアームごとのSE(3)変換をアテンションに注入し、アームの識別性と剛体運動構造を維持する。アクション制御だけでは、シーン幾何学や小さな操作対象オブジェクトの時間的変化を完全に拘束することはできない。そこで、シーンレベルの幾何学のために軽量な深度ブランチを追加し、SAM3マスクと凍結されたV-JEPA教師モデルを用いて、把持を通してオブジェクトの一貫性を維持する。さらに、効率的な展開のために、分布マッチング蒸留を用いてマルチステップ生成器を数ステップの学生モデルに蒸留する。本稿執筆時点で、本モデルはWorldArena 2.0チャレンジのTrack 1で第1位、Track 2で第2位を獲得している。我々のモデルとコードは公開される予定である。

English

We present DreamX-Phi 1.0, an action-conditioned video world model for robotic manipulation that, given an observed frame, a language instruction, and a prescribed action sequence comprising end-effector poses and gripper states, predicts the resulting future observations. Yet realism alone does not guarantee faithfulness: a convincing rollout can still move the wrong arm or lose the manipulated object. To ensure the prediction respects each arm's commanded path, we inject per-arm SE(3) transformations into attention via PRoPE-style geometric encoding, preserving arm identity and rigid-motion structure. Action control alone does not fully constrain scene geometry or the evolution of small manipulated objects. We therefore add a lightweight depth branch for scene-level geometry and use SAM3 masks with a frozen V-JEPA teacher to maintain object consistency throughout grasping. We further distill the multi-step generator into a few-step student via distribution-matching distillation for efficient deployment. At the time of writing, achieves first place on Track~1 and second place on Track~2 of the WorldArena~2.0 Challenge. Our model and code will be publicly available.