TesserAct: Aprendizado de Modelos de Mundo Corporificado em 4D

TesserAct: Learning 4D Embodied World Models

April 29, 2025

Autores: Haoyu Zhen, Qiao Sun, Hongxin Zhang, Junyan Li, Siyuan Zhou, Yilun Du, Chuang Gan

cs.AI

Resumo

Este artigo apresenta uma abordagem eficaz para aprender novos modelos de mundo incorporados em 4D, que preveem a evolução dinâmica de cenas 3D ao longo do tempo em resposta às ações de um agente incorporado, garantindo consistência tanto espacial quanto temporal. Propomos aprender um modelo de mundo 4D treinando em vídeos RGB-DN (RGB, Profundidade e Normais). Isso não apenas supera os modelos 2D tradicionais ao incorporar detalhes de forma, configuração e mudanças temporais em suas previsões, mas também nos permite aprender com eficácia modelos dinâmicos inversos precisos para um agente incorporado. Especificamente, primeiro estendemos conjuntos de dados existentes de vídeos de manipulação robótica com informações de profundidade e normais, utilizando modelos prontos. Em seguida, ajustamos finamente um modelo de geração de vídeos nesse conjunto de dados anotado, que prevê conjuntamente RGB-DN (RGB, Profundidade e Normais) para cada quadro. Depois, apresentamos um algoritmo para converter diretamente vídeos gerados de RGB, Profundidade e Normais em uma cena 4D de alta qualidade do mundo. Nosso método garante coerência temporal e espacial nas previsões de cenas 4D a partir de cenários incorporados, permite a síntese de novas visões para ambientes incorporados e facilita o aprendizado de políticas que superam significativamente aquelas derivadas de modelos de mundo baseados em vídeo anteriores.

English

This paper presents an effective approach for learning novel 4D embodied world models, which predict the dynamic evolution of 3D scenes over time in response to an embodied agent's actions, providing both spatial and temporal consistency. We propose to learn a 4D world model by training on RGB-DN (RGB, Depth, and Normal) videos. This not only surpasses traditional 2D models by incorporating detailed shape, configuration, and temporal changes into their predictions, but also allows us to effectively learn accurate inverse dynamic models for an embodied agent. Specifically, we first extend existing robotic manipulation video datasets with depth and normal information leveraging off-the-shelf models. Next, we fine-tune a video generation model on this annotated dataset, which jointly predicts RGB-DN (RGB, Depth, and Normal) for each frame. We then present an algorithm to directly convert generated RGB, Depth, and Normal videos into a high-quality 4D scene of the world. Our method ensures temporal and spatial coherence in 4D scene predictions from embodied scenarios, enables novel view synthesis for embodied environments, and facilitates policy learning that significantly outperforms those derived from prior video-based world models.