RoboScape: Fysica-geïnformeerd belichaamd wereldmodel

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Auteurs: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Samenvatting

Wereldmodellen zijn onmisbare tools geworden voor belichaamde intelligentie, die dienen als krachtige simulatoren die realistische robotvideo's kunnen genereren en tegelijkertijd cruciale uitdagingen op het gebied van dataschaarste aanpakken. Huidige belichaamde wereldmodellen vertonen echter beperkt fysiek bewustzijn, met name in het modelleren van 3D-geometrie en bewegingsdynamiek, wat resulteert in onrealistische videogeneratie voor contactrijke robotscenario's. In dit artikel presenteren we RoboScape, een geünificeerd fysica-geïnformeerd wereldmodel dat RGB-videogeneratie en fysicakennis gezamenlijk leert binnen een geïntegreerd raamwerk. We introduceren twee belangrijke fysica-geïnformeerde gezamenlijke trainings taken: tijdelijke dieptevoorspelling die de 3D-geometrische consistentie in videoweergave verbetert, en keypoint-dynamiekleren dat impliciet fysieke eigenschappen (bijv. objectvorm en materiaalkenmerken) codeert terwijl het complexe bewegingsmodellering verbetert. Uitgebreide experimenten tonen aan dat RoboScape video's genereert met superieure visuele kwaliteit en fysieke geloofwaardigheid in diverse robotscenario's. We valideren verder de praktische bruikbaarheid door downstream toepassingen, inclusief robotbeleidstraining met gegenereerde data en beleidsevaluatie. Ons werk biedt nieuwe inzichten voor het bouwen van efficiënte fysica-geïnformeerde wereldmodellen om onderzoek naar belichaamde intelligentie vooruit te helpen. De code is beschikbaar op: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.