Modellazione Unificata delle Azioni nel Mondo 4D da Prior Video con Denoising Asincrono
Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising
April 29, 2026
Autori: Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu
cs.AI
Abstract
Proponiamo X-WAM, un Modello di Mondo 4D Unificato che unifica l'esecuzione di azioni robotiche in tempo reale e la sintesi ad alta fedeltà del mondo 4D (video + ricostruzione 3D) in un unico framework, affrontando le limitazioni critiche dei modelli di mondo unificati precedenti (ad es., UWM) che modellano solo lo spazio dei pixel 2D e non riescono a bilanciare l'efficienza d'azione e la qualità della modellazione del mondo. Per sfruttare i forti prior visivi dei modelli di diffusione video preaddestrati, X-WAM immagina il mondo futuro prevedendo video RGB-D multi-vista e ottiene informazioni spaziali in modo efficiente attraverso un adattamento strutturale leggero: replicando i blocchi finali del Diffusion Transformer preaddestrato in un ramo dedicato alla previsione della profondità per la ricostruzione delle informazioni spaziali future. Inoltre, proponiamo l'Asynchronous Noise Sampling (ANS) per ottimizzare congiuntamente la qualità della generazione e l'efficienza della decodifica delle azioni. ANS applica una pianificazione di denoising asincrona specializzata durante l'inferenza, che decodifica rapidamente le azioni con meno passi per consentire un'esecuzione efficiente in tempo reale, dedicando al contempo l'intera sequenza di passi per generare video ad alta fedeltà. Piuttosto che disaccoppiare completamente i timestep durante l'addestramento, ANS campiona dalla loro distribuzione congiunta per allinearsi alla distribuzione di inferenza. Preatdestrato su oltre 5.800 ore di dati robotici, X-WAM raggiunge un tasso di successo medio del 79.2% e del 90.7% sui benchmark RoboCasa e RoboTwin 2.0, producendo al contempo una ricostruzione e generazione 4D ad alta fedeltà che supera i metodi esistenti sia nelle metriche visive che geometriche.
English
We propose X-WAM, a Unified 4D World Model that unifies real-time robotic action execution and high-fidelity 4D world synthesis (video + 3D reconstruction) in a single framework, addressing the critical limitations of prior unified world models (e.g., UWM) that only model 2D pixel-space and fail to balance action efficiency and world modeling quality. To leverage the strong visual priors of pretrained video diffusion models, X-WAM imagines the future world by predicting multi-view RGB-D videos, and obtains spatial information efficiently through a lightweight structural adaptation: replicating the final few blocks of the pretrained Diffusion Transformer into a dedicated depth prediction branch for the reconstruction of future spatial information. Moreover, we propose Asynchronous Noise Sampling (ANS) to jointly optimize generation quality and action decoding efficiency. ANS applies a specialized asynchronous denoising schedule during inference, which rapidly decodes actions with fewer steps to enable efficient real-time execution, while dedicating the full sequence of steps to generate high-fidelity video. Rather than entirely decoupling the timesteps during training, ANS samples from their joint distribution to align with the inference distribution. Pretrained on over 5,800 hours of robotic data, X-WAM achieves 79.2% and 90.7% average success rate on RoboCasa and RoboTwin 2.0 benchmarks, while producing high-fidelity 4D reconstruction and generation surpassing existing methods in both visual and geometric metrics.