DreamX-Phi 1.0: 로봇 조작을 위한 행동 조건부 비디오 세계 모델

초록

우리는 DreamX-Phi 1.0을 제시한다. 이는 로봇 조작을 위한 행동 조건부 비디오 세계 모델로, 관측된 프레임, 언어 지시, 그리고 엔드이펙터 자세와 그리퍼 상태로 구성된 지정된 행동 시퀀스가 주어졌을 때, 그 결과로 나타날 미래 관측을 예측한다. 그러나 사실적인 영상만으로는 충실성이 보장되지 않는다. 그럴듯한 롤아웃이 잘못된 팔을 움직이거나 조작 대상 물체를 놓칠 수 있기 때문이다. 예측이 각 팔의 명령된 경로를 따르도록 보장하기 위해, 우리는 PRoPE 스타일의 기하학적 인코딩을 통해 어텐션에 팔별 SE(3) 변환을 주입하여 팔의 정체성과 강체 운동 구조를 보존한다. 행동 제어만으로는 장면 기하학이나 작은 조작 물체의 변화를 완전히 제약하지 못한다. 따라서 우리는 장면 수준의 기하학을 위한 경량 깊이 분기를 추가하고, 파지 과정 전반에 걸쳐 객체 일관성을 유지하기 위해 고정된 V-JEPA 티처와 함께 SAM3 마스크를 사용한다. 또한 효율적인 배포를 위해 분포 정합 증류를 통해 다단계 생성기를 소수의 단계를 사용하는 학생 모델로 증류한다. 이 글을 작성하는 시점에, DreamX-Phi 1.0은 WorldArena 2.0 Challenge의 Track 1에서 1위, Track 2에서 2위를 달성하였다. 우리의 모델과 코드는 공개적으로 제공될 예정이다.

English

We present DreamX-Phi 1.0, an action-conditioned video world model for robotic manipulation that, given an observed frame, a language instruction, and a prescribed action sequence comprising end-effector poses and gripper states, predicts the resulting future observations. Yet realism alone does not guarantee faithfulness: a convincing rollout can still move the wrong arm or lose the manipulated object. To ensure the prediction respects each arm's commanded path, we inject per-arm SE(3) transformations into attention via PRoPE-style geometric encoding, preserving arm identity and rigid-motion structure. Action control alone does not fully constrain scene geometry or the evolution of small manipulated objects. We therefore add a lightweight depth branch for scene-level geometry and use SAM3 masks with a frozen V-JEPA teacher to maintain object consistency throughout grasping. We further distill the multi-step generator into a few-step student via distribution-matching distillation for efficient deployment. At the time of writing, achieves first place on Track~1 and second place on Track~2 of the WorldArena~2.0 Challenge. Our model and code will be publicly available.