PhysisForcing: 로봇 조작을 위한 물리 강화 세계 시뮬레이터

초록

비디오 생성 모델은 체화된 세계 시뮬레이션을 위한 유망한 패러다임으로 부상했다. 그러나 일반 도메인 비디오 생성기와 로봇 특화 데이터로 미세 조정된 모델 모두 여전히 불연속 운동 궤적 및 불일치하는 로봇-객체 상호작용을 포함하여 물리적으로 타당하지 않은 조작을 생성할 수 있으며, 이는 세계 시뮬레이터로서의 신뢰성을 제한한다. 광범위한 실험을 통해 우리는 이러한 물리적 불안정성이 주로 두 가지 요인, 즉 움직이는 객체의 변형과 상호작용 객체 간의 타당하지 않은 시공간적 상관관계(특히 접촉 시)에서 비롯됨을 발견했다. 이러한 관찰을 바탕으로, 우리는 픽셀 수준 및 의미 수준 특징의 공동 최적화를 통해 물리적 정보가 있는 영역에 감독을 집중함으로써 물리적 일관성을 강화하는 확장 가능한 훈련 프레임워크인 PhysisForcing을 제안한다. 이 프레임워크는 기준점 궤적을 이용하여 DiT 특징을 감독하는 픽셀 수준 궤적 정렬 손실과, 고정된 비디오 이해 인코더에서 추출된 영역 간 관계와 DiT 특징을 정렬하는 의미 수준 관계 정렬 손실로 구성된다. R-Bench, PAI-Bench 및 EZS-Bench에 대한 광범위한 실험은 PhysisForcing이 강력한 기준선들에 비해 체화된 비디오 생성을 일관되게 개선함을 보여준다. 구체적으로, R-Bench에서 Wan2.2-I2V-A14B 및 Cosmos3-Nano 기본 모델을 각각 22.3% 및 9.2% 개선하며(일반 미세 조정 대비 7.1% 및 3.7% 개선), Cosmos3-Nano 변형이 최고 종합 점수를 달성했다. 생성 외에도, WorldArena 행동 계획 프로토콜 하에서 세계 모델로서 폐루프 성공률을 16.0%에서 24.0%로 높이고 하위 정책 성공을 추가로 개선하는데, 이는 물리적으로 정렬된 비디오 모델이 로봇 조작을 위한 더 강력한 표현을 산출함을 나타낸다.

English

Video generation models have emerged as a promising paradigm for embodied world simulation. However, both general-domain video generators and robot-specific data fine-tuned models can still produce physically implausible manipulations, including discontinuous motion trajectories and inconsistent robot-object interactions, which limits their reliability as world simulators. Through extensive experiments, we find that such physical instability mainly arises from two factors: deformation of moving objects and implausible spatio-temporal correlations among interacting entities, particularly during contact. Building on this observation, we propose PhysisForcing, a scalable training framework that strengthens physical consistency by focusing supervision on physics-informative regions through joint optimization of pixel-level and semantic-level features. The framework consists of a pixel-level trajectory alignment loss, which supervises DiT features using reference point trajectories, and a semantic-level relational alignment loss, which aligns DiT features with inter-region relations extracted from a frozen video understanding encoder. Extensive experiments on R-Bench, PAI-Bench, and EZS-Bench show that PhysisForcing consistently improves embodied video generation over strong baselines, improving the Wan2.2-I2V-A14B and Cosmos3-Nano base models on R-Bench by 22.3\% and 9.2\% (7.1\% and 3.7\% over vanilla finetuning), with the Cosmos3-Nano variant attaining the best overall score. Beyond generation, as a world model under the WorldArena action-planner protocol it raises the closed-loop success rate from 16.0\% to 24.0\% and further improves downstream policy success, indicating that physically aligned video models yield stronger representations for robotic manipulation.