TesserAct: Aprendizaje de Modelos Mundiales Embebidos en 4D

TesserAct: Learning 4D Embodied World Models

April 29, 2025

Autores: Haoyu Zhen, Qiao Sun, Hongxin Zhang, Junyan Li, Siyuan Zhou, Yilun Du, Chuang Gan

cs.AI

Resumen

Este artículo presenta un enfoque efectivo para aprender modelos novedosos de mundos encarnados en 4D, los cuales predicen la evolución dinámica de escenas 3D a lo largo del tiempo en respuesta a las acciones de un agente encarnado, proporcionando consistencia tanto espacial como temporal. Proponemos aprender un modelo de mundo 4D entrenando con videos RGB-DN (RGB, profundidad y normales). Esto no solo supera a los modelos 2D tradicionales al incorporar detalles de forma, configuración y cambios temporales en sus predicciones, sino que también nos permite aprender de manera efectiva modelos dinámicos inversos precisos para un agente encarnado. Específicamente, primero extendemos los conjuntos de datos existentes de videos de manipulación robótica con información de profundidad y normales utilizando modelos disponibles. Luego, ajustamos un modelo de generación de videos en este conjunto de datos anotado, el cual predice conjuntamente RGB-DN (RGB, profundidad y normales) para cada fotograma. Posteriormente, presentamos un algoritmo para convertir directamente los videos generados de RGB, profundidad y normales en una escena 4D de alta calidad del mundo. Nuestro método asegura coherencia temporal y espacial en las predicciones de escenas 4D a partir de escenarios encarnados, permite la síntesis de vistas novedosas para entornos encarnados y facilita el aprendizaje de políticas que superan significativamente a las derivadas de modelos de mundo basados en videos anteriores.

English

This paper presents an effective approach for learning novel 4D embodied world models, which predict the dynamic evolution of 3D scenes over time in response to an embodied agent's actions, providing both spatial and temporal consistency. We propose to learn a 4D world model by training on RGB-DN (RGB, Depth, and Normal) videos. This not only surpasses traditional 2D models by incorporating detailed shape, configuration, and temporal changes into their predictions, but also allows us to effectively learn accurate inverse dynamic models for an embodied agent. Specifically, we first extend existing robotic manipulation video datasets with depth and normal information leveraging off-the-shelf models. Next, we fine-tune a video generation model on this annotated dataset, which jointly predicts RGB-DN (RGB, Depth, and Normal) for each frame. We then present an algorithm to directly convert generated RGB, Depth, and Normal videos into a high-quality 4D scene of the world. Our method ensures temporal and spatial coherence in 4D scene predictions from embodied scenarios, enables novel view synthesis for embodied environments, and facilitates policy learning that significantly outperforms those derived from prior video-based world models.