Verenigde 4D Wereldactiemodellering met Videopriors en Asynchrone Denoisering
Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising
April 29, 2026
Auteurs: Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu
cs.AI
Samenvatting
Wij presenteren X-WAM, een verenigd 4D-wereldmodel dat real-time robotactie-uitvoering en hoogwaardige 4D-wereldsynthese (video + 3D-reconstructie) verenigt in een enkel raamwerk. Dit adresseert de kritieke beperkingen van eerdere verenigde wereldmodellen (zoals UWM), die slechts de 2D-pixelruimte modelleren en er niet in slagen een balans te vinden tussen actie-efficiëntie en de kwaliteit van wereldmodellering. Om te profiteren van de sterke visuele voorkennis van vooraf getrainde videodiffusiemodellen, visualiseert X-WAM de toekomstige wereld door het voorspellen van multi-view RGB-D video's, en verkrijgt het efficiënt ruimtelijke informatie via een lichtgewicht structurele aanpassing: het repliceren van de laatste paar blokken van de vooraf getrainde Diffusion Transformer in een speciale dieptevoorspellingsbranch voor de reconstructie van toekomstige ruimtelijke informatie. Bovendien stellen we Asynchrone Ruisbemonstering (ANS) voor om zowel de generatiekwaliteit als de actiedecoderings-efficiëntie gezamenlijk te optimaliseren. ANS past tijdens de inferentie een gespecialiseerd asynchroon denoisingsschema toe, dat snel acties decodeert met minder stappen om efficiënte real-time uitvoering mogelijk te maken, terwijl de volledige reeks stappen wordt gebruikt om hoogwaardige video te genereren. In plaats van de tijdstappen tijdens de training volledig te ontkoppelen, bemonstert ANS hun gezamenlijke verdeling om af te stemmen op de inferentie-verdeling. Voorgetraind op meer dan 5.800 uur aan robotdata behaalt X-WAM een gemiddeld slagingspercentage van 79,2% en 90,7% op respectievelijk de RoboCasa- en RoboTwin 2.0-benchmarks, terwijl het hoogwaardige 4D-reconstructie en -generatie produceert die bestaande methoden overtreft op zowel visuele als geometrische metrieken.
English
We propose X-WAM, a Unified 4D World Model that unifies real-time robotic action execution and high-fidelity 4D world synthesis (video + 3D reconstruction) in a single framework, addressing the critical limitations of prior unified world models (e.g., UWM) that only model 2D pixel-space and fail to balance action efficiency and world modeling quality. To leverage the strong visual priors of pretrained video diffusion models, X-WAM imagines the future world by predicting multi-view RGB-D videos, and obtains spatial information efficiently through a lightweight structural adaptation: replicating the final few blocks of the pretrained Diffusion Transformer into a dedicated depth prediction branch for the reconstruction of future spatial information. Moreover, we propose Asynchronous Noise Sampling (ANS) to jointly optimize generation quality and action decoding efficiency. ANS applies a specialized asynchronous denoising schedule during inference, which rapidly decodes actions with fewer steps to enable efficient real-time execution, while dedicating the full sequence of steps to generate high-fidelity video. Rather than entirely decoupling the timesteps during training, ANS samples from their joint distribution to align with the inference distribution. Pretrained on over 5,800 hours of robotic data, X-WAM achieves 79.2% and 90.7% average success rate on RoboCasa and RoboTwin 2.0 benchmarks, while producing high-fidelity 4D reconstruction and generation surpassing existing methods in both visual and geometric metrics.