RoboScape: Modello di Mondo Incorporato Informato dalla Fisica

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Autori: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Abstract

I modelli del mondo sono diventati strumenti indispensabili per l'intelligenza incarnata, fungendo da potenti simulatori in grado di generare video robotici realistici affrontando al contempo le sfide critiche della scarsità di dati. Tuttavia, gli attuali modelli del mondo incarnati mostrano una consapevolezza fisica limitata, in particolare nella modellazione della geometria 3D e delle dinamiche del movimento, risultando in una generazione di video poco realistica per scenari robotici ricchi di contatti. In questo articolo, presentiamo RoboScape, un modello del mondo unificato informato dalla fisica che apprende congiuntamente la generazione di video RGB e la conoscenza fisica all'interno di un framework integrato. Introduciamo due compiti chiave di addestramento congiunto informati dalla fisica: la previsione della profondità temporale che migliora la coerenza geometrica 3D nel rendering video, e l'apprendimento delle dinamiche dei punti chiave che codifica implicitamente le proprietà fisiche (ad esempio, la forma degli oggetti e le caratteristiche dei materiali) migliorando al contempo la modellazione del movimento complesso. Esperimenti estensivi dimostrano che RoboScape genera video con una fedeltà visiva superiore e una plausibilità fisica in diversi scenari robotici. Validiamo ulteriormente la sua utilità pratica attraverso applicazioni a valle, inclusa la formazione di politiche robotiche con dati generati e la valutazione delle politiche. Il nostro lavoro fornisce nuove intuizioni per la costruzione di modelli del mondo efficienti informati dalla fisica per avanzare la ricerca sull'intelligenza incarnata. Il codice è disponibile all'indirizzo: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.