TesserAct: Lernen von 4D-verkörperten Weltmodellen

TesserAct: Learning 4D Embodied World Models

April 29, 2025

Autoren: Haoyu Zhen, Qiao Sun, Hongxin Zhang, Junyan Li, Siyuan Zhou, Yilun Du, Chuang Gan

cs.AI

Zusammenfassung

Dieses Papier stellt einen effektiven Ansatz zum Lernen neuartiger 4D-verkörperter Weltmodelle vor, die die dynamische Entwicklung von 3D-Szenen über die Zeit als Reaktion auf die Aktionen eines verkörperten Agenten vorhersagen und dabei sowohl räumliche als auch zeitliche Konsistenz gewährleisten. Wir schlagen vor, ein 4D-Weltmodell durch das Training auf RGB-DN (RGB, Tiefe und Normalen) Videos zu erlernen. Dies übertrifft nicht nur traditionelle 2D-Modelle, indem detaillierte Form, Konfiguration und zeitliche Veränderungen in die Vorhersagen einbezogen werden, sondern ermöglicht es uns auch, präzise inverse dynamische Modelle für einen verkörperten Agenten effektiv zu erlernen. Konkret erweitern wir zunächst bestehende Datensätze für Roboter-Manipulationsvideos mit Tiefen- und Normaleninformationen unter Nutzung von Standardmodellen. Anschließend feintunen wir ein Video-Generierungsmodell auf diesem annotierten Datensatz, das gemeinsam RGB-DN (RGB, Tiefe und Normalen) für jedes Frame vorhersagt. Danach präsentieren wir einen Algorithmus, der generierte RGB-, Tiefen- und Normalenvideos direkt in eine hochwertige 4D-Szene der Welt umwandelt. Unsere Methode gewährleistet zeitliche und räumliche Kohärenz in 4D-Szenenvorhersagen aus verkörperten Szenarien, ermöglicht die Synthese neuer Ansichten für verkörperte Umgebungen und erleichtert das Erlernen von Strategien, die diejenigen aus früheren videobasierten Weltmodellen deutlich übertreffen.

English

This paper presents an effective approach for learning novel 4D embodied world models, which predict the dynamic evolution of 3D scenes over time in response to an embodied agent's actions, providing both spatial and temporal consistency. We propose to learn a 4D world model by training on RGB-DN (RGB, Depth, and Normal) videos. This not only surpasses traditional 2D models by incorporating detailed shape, configuration, and temporal changes into their predictions, but also allows us to effectively learn accurate inverse dynamic models for an embodied agent. Specifically, we first extend existing robotic manipulation video datasets with depth and normal information leveraging off-the-shelf models. Next, we fine-tune a video generation model on this annotated dataset, which jointly predicts RGB-DN (RGB, Depth, and Normal) for each frame. We then present an algorithm to directly convert generated RGB, Depth, and Normal videos into a high-quality 4D scene of the world. Our method ensures temporal and spatial coherence in 4D scene predictions from embodied scenarios, enables novel view synthesis for embodied environments, and facilitates policy learning that significantly outperforms those derived from prior video-based world models.