RoboScape: Modelo de Mundo Encarnado con Base en la Física

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Autores: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Resumen

Los modelos del mundo se han convertido en herramientas indispensables para la inteligencia encarnada, funcionando como simuladores potentes capaces de generar videos robóticos realistas mientras abordan los desafíos críticos de la escasez de datos. Sin embargo, los modelos del mundo encarnados actuales muestran una conciencia física limitada, particularmente en el modelado de geometría 3D y dinámicas de movimiento, lo que resulta en una generación de videos poco realistas para escenarios robóticos con alto contacto. En este artículo, presentamos RoboScape, un modelo del mundo unificado informado por la física que aprende conjuntamente la generación de videos RGB y el conocimiento físico dentro de un marco integrado. Introducimos dos tareas clave de entrenamiento conjunto informadas por la física: la predicción de profundidad temporal, que mejora la consistencia geométrica 3D en la renderización de videos, y el aprendizaje de dinámicas de puntos clave, que codifica implícitamente propiedades físicas (por ejemplo, forma del objeto y características del material) mientras mejora el modelado de movimientos complejos. Experimentos extensos demuestran que RoboScape genera videos con una fidelidad visual superior y plausibilidad física en diversos escenarios robóticos. Además, validamos su utilidad práctica a través de aplicaciones posteriores, incluyendo el entrenamiento de políticas robóticas con datos generados y la evaluación de políticas. Nuestro trabajo proporciona nuevas perspectivas para construir modelos del mundo eficientes informados por la física, avanzando así la investigación en inteligencia encarnada. El código está disponible en: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.