RoboScape: Modelo de Mundo Incorporado com Informação Física

RoboScape: Physics-informed Embodied World Model

June 29, 2025

Autores: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

cs.AI

Resumo

Modelos de mundo tornaram-se ferramentas indispensáveis para a inteligência incorporada, servindo como simuladores poderosos capazes de gerar vídeos robóticos realistas enquanto abordam desafios críticos de escassez de dados. No entanto, os modelos de mundo incorporados atuais exibem consciência física limitada, particularmente na modelagem de geometria 3D e dinâmica de movimento, resultando em geração de vídeos irrealistas para cenários robóticos ricos em contato. Neste artigo, apresentamos o RoboScape, um modelo de mundo unificado informado por física que aprende conjuntamente a geração de vídeos RGB e o conhecimento físico dentro de um framework integrado. Introduzimos duas tarefas-chave de treinamento conjunto informadas por física: previsão de profundidade temporal que melhora a consistência geométrica 3D na renderização de vídeo, e aprendizado de dinâmica de pontos-chave que codifica implicitamente propriedades físicas (por exemplo, forma do objeto e características do material) enquanto melhora a modelagem de movimentos complexos. Experimentos extensivos demonstram que o RoboScape gera vídeos com fidelidade visual superior e plausibilidade física em diversos cenários robóticos. Validamos ainda sua utilidade prática por meio de aplicações subsequentes, incluindo treinamento de políticas robóticas com dados gerados e avaliação de políticas. Nosso trabalho fornece novos insights para a construção de modelos de mundo eficientes informados por física, avançando a pesquisa em inteligência incorporada. O código está disponível em: https://github.com/tsinghua-fib-lab/RoboScape.

English

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.