RoboScape : Modèle de monde incarné informé par la physique

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Auteurs: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Résumé

Les modèles du monde sont devenus des outils indispensables pour l'intelligence incarnée, servant de simulateurs puissants capables de générer des vidéos robotiques réalistes tout en relevant les défis critiques de la pénurie de données. Cependant, les modèles du monde incarnés actuels présentent une conscience physique limitée, en particulier dans la modélisation de la géométrie 3D et de la dynamique du mouvement, ce qui entraîne une génération de vidéos irréalistes pour les scénarios robotiques riches en contacts. Dans cet article, nous présentons RoboScape, un modèle du monde unifié informé par la physique qui apprend conjointement la génération de vidéos RGB et les connaissances physiques dans un cadre intégré. Nous introduisons deux tâches clés d'apprentissage conjoint informées par la physique : la prédiction de profondeur temporelle qui améliore la cohérence géométrique 3D dans le rendu vidéo, et l'apprentissage de la dynamique des points clés qui encode implicitement les propriétés physiques (par exemple, la forme des objets et les caractéristiques des matériaux) tout en améliorant la modélisation des mouvements complexes. Des expériences approfondies démontrent que RoboScape génère des vidéos avec une fidélité visuelle et une plausibilité physique supérieures dans divers scénarios robotiques. Nous validons en outre son utilité pratique à travers des applications en aval, notamment l'entraînement de politiques robotiques avec des données générées et l'évaluation des politiques. Notre travail offre de nouvelles perspectives pour la construction de modèles du monde efficaces informés par la physique afin de faire progresser la recherche en intelligence incarnée. Le code est disponible à l'adresse suivante : https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.