RoboScape: Физически обоснованная воплощённая модель мира

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Авторы: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Аннотация

Модели мира стали незаменимыми инструментами для воплощённого интеллекта, выступая в роли мощных симуляторов, способных генерировать реалистичные видеозаписи роботизированных сценариев, одновременно решая критически важные проблемы нехватки данных. Однако современные модели мира для воплощённого интеллекта демонстрируют ограниченное понимание физики, особенно в моделировании 3D-геометрии и динамики движения, что приводит к генерации нереалистичных видеозаписей для сценариев с интенсивным взаимодействием роботов с окружающей средой. В данной статье мы представляем RoboScape — унифицированную модель мира, основанную на физике, которая совместно обучается генерации RGB-видео и физическим знаниям в рамках единой структуры. Мы вводим две ключевые задачи совместного обучения, основанные на физике: прогнозирование временной глубины, которое улучшает согласованность 3D-геометрии при рендеринге видео, и обучение динамике ключевых точек, которое неявно кодирует физические свойства (например, форму объектов и характеристики материалов), одновременно улучшая моделирование сложных движений. Многочисленные эксперименты демонстрируют, что RoboScape генерирует видео с превосходной визуальной достоверностью и физической правдоподобностью в различных роботизированных сценариях. Мы также подтверждаем её практическую полезность через приложения, включая обучение роботизированных политик с использованием сгенерированных данных и оценку политик. Наша работа предоставляет новые идеи для создания эффективных моделей мира, основанных на физике, с целью продвижения исследований в области воплощённого интеллекта. Код доступен по адресу: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.