TesserAct: Apprendimento di Modelli del Mondo Embodied in 4D

TesserAct: Learning 4D Embodied World Models

April 29, 2025

Autori: Haoyu Zhen, Qiao Sun, Hongxin Zhang, Junyan Li, Siyuan Zhou, Yilun Du, Chuang Gan

cs.AI

Abstract

Questo articolo presenta un approccio efficace per apprendere nuovi modelli mondiali incarnati 4D, che prevedono l'evoluzione dinamica di scene 3D nel tempo in risposta alle azioni di un agente incarnato, garantendo coerenza sia spaziale che temporale. Proponiamo di apprendere un modello mondiale 4D addestrandolo su video RGB-DN (RGB, profondità e normali). Questo non solo supera i tradizionali modelli 2D incorporando dettagli sulla forma, configurazione e cambiamenti temporali nelle loro previsioni, ma ci permette anche di apprendere efficacemente modelli dinamici inversi accurati per un agente incarnato. Nello specifico, estendiamo prima i dataset esistenti di video di manipolazione robotica con informazioni sulla profondità e sulle normali sfruttando modelli preesistenti. Successivamente, ottimizziamo un modello di generazione video su questo dataset annotato, che prevede congiuntamente RGB-DN (RGB, profondità e normali) per ogni fotogramma. Presentiamo poi un algoritmo per convertire direttamente i video generati di RGB, profondità e normali in una scena 4D di alta qualità del mondo. Il nostro metodo garantisce coerenza temporale e spaziale nelle previsioni di scene 4D da scenari incarnati, abilita la sintesi di nuove visualizzazioni per ambienti incarnati e facilita l'apprendimento di politiche che superano significativamente quelle derivate da precedenti modelli mondiali basati su video.

English

This paper presents an effective approach for learning novel 4D embodied world models, which predict the dynamic evolution of 3D scenes over time in response to an embodied agent's actions, providing both spatial and temporal consistency. We propose to learn a 4D world model by training on RGB-DN (RGB, Depth, and Normal) videos. This not only surpasses traditional 2D models by incorporating detailed shape, configuration, and temporal changes into their predictions, but also allows us to effectively learn accurate inverse dynamic models for an embodied agent. Specifically, we first extend existing robotic manipulation video datasets with depth and normal information leveraging off-the-shelf models. Next, we fine-tune a video generation model on this annotated dataset, which jointly predicts RGB-DN (RGB, Depth, and Normal) for each frame. We then present an algorithm to directly convert generated RGB, Depth, and Normal videos into a high-quality 4D scene of the world. Our method ensures temporal and spatial coherence in 4D scene predictions from embodied scenarios, enables novel view synthesis for embodied environments, and facilitates policy learning that significantly outperforms those derived from prior video-based world models.