RoboScape: Physik-informiertes verkörpertes Weltmodell

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Autoren: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Zusammenfassung

Weltmodelle haben sich als unverzichtbare Werkzeuge für verkörperte Intelligenz etabliert, da sie als leistungsstarke Simulatoren fungieren, die in der Lage sind, realistische Roboter-Videos zu generieren und gleichzeitig kritische Herausforderungen im Zusammenhang mit Datenknappheit zu bewältigen. Allerdings weisen aktuelle verkörperte Weltmodelle ein begrenztes physikalisches Bewusstsein auf, insbesondere bei der Modellierung von 3D-Geometrie und Bewegungsdynamiken, was zu unrealistischer Videogenerierung in kontaktintensiven Roboterszenarien führt. In diesem Artikel präsentieren wir RoboScape, ein einheitliches physikbasiertes Weltmodell, das RGB-Videogenerierung und physikalisches Wissen innerhalb eines integrierten Frameworks gemeinsam erlernt. Wir führen zwei zentrale physikbasierte gemeinsame Trainingsaufgaben ein: die zeitliche Tiefenvorhersage, die die 3D-geometrische Konsistenz bei der Videorendering verbessert, und das Lernen von Keypoint-Dynamiken, das physikalische Eigenschaften (z. B. Objektform und Materialeigenschaften) implizit kodiert und gleichzeitig die Modellierung komplexer Bewegungen verbessert. Umfangreiche Experimente zeigen, dass RoboScape Videos mit überlegener visueller Qualität und physikalischer Plausibilität in verschiedenen Roboterszenarien generiert. Wir validieren seinen praktischen Nutzen weiterhin durch nachgelagerte Anwendungen, einschließlich des Trainings von Roboter-Policies mit generierten Daten und der Policy-Evaluierung. Unsere Arbeit liefert neue Erkenntnisse für den Aufbau effizienter physikbasierter Weltmodelle, um die Forschung zur verkörperten Intelligenz voranzutreiben. Der Code ist verfügbar unter: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.