Vereinheitlichte 4D-Weltaktionsmodellierung aus Video-Priors mit asynchroner Entrauschung
Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising
April 29, 2026
Autoren: Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu
cs.AI
Zusammenfassung
Wir stellen X-WAM vor, ein vereinheitlichtes 4D-Weltmodell, das Echtzeit-Roboteraktionen und hochauflösende 4D-Weltsynthese (Video + 3D-Rekonstruktion) in einem einzigen Framework vereint. Damit adressiert es die kritischen Limitationen früherer vereinheitlichter Weltmodelle (z.B. UWM), die lediglich den 2D-Pixelraum modellieren und die Balance zwischen Aktionseffizienz und Modellierungsqualität der Welt nicht herstellen können. Um die starken visuellen Priors vortrainierter Video-Diffusionsmodelle zu nutzen, imaginiert X-WAM die zukünftige Welt durch die Vorhersage von Multi-View-RGB-D-Videos und erhält räumliche Informationen effizient durch eine leichtgewichtige strukturelle Anpassung: Die letzten Blöcke des vortrainierten Diffusion Transformers werden in einen dedizierten Tiefenvorhersage-Zweig repliziert, um die zukünftigen räumlichen Informationen zu rekonstruieren. Darüber hinaus schlagen wir Asynchrones Rausch-Sampling (ANS) vor, um die Generierungsqualität und die Aktiondecodiereffizienz gemeinsam zu optimieren. ANS wendet einen spezialisierten asynchronen Denoising-Zeitplan während der Inferenz an, der Aktionen mit weniger Schritten schnell decodiert, um eine effiziente Echtzeitausführung zu ermöglichen, während die volle Schrittfolge zur Generierung hochauflösender Videos genutzt wird. Anstatt die Zeitschritte während des Trainings vollständig zu entkoppeln, sampelt ANS aus ihrer gemeinsamen Verteilung, um sie an die Inferenzverteilung anzugleichen. Vortrainiert mit über 5.800 Stunden Roboterdaten erreicht X-WAM durchschnittliche Erfolgsraten von 79,2 % bzw. 90,7 % auf den RoboCasa- und RoboTwin-2.0-Benchmarks und erzeugt dabei hochauflösende 4D-Rekonstruktionen und -Generierungen, die bestehende Methoden in visuellen und geometrischen Metriken übertreffen.
English
We propose X-WAM, a Unified 4D World Model that unifies real-time robotic action execution and high-fidelity 4D world synthesis (video + 3D reconstruction) in a single framework, addressing the critical limitations of prior unified world models (e.g., UWM) that only model 2D pixel-space and fail to balance action efficiency and world modeling quality. To leverage the strong visual priors of pretrained video diffusion models, X-WAM imagines the future world by predicting multi-view RGB-D videos, and obtains spatial information efficiently through a lightweight structural adaptation: replicating the final few blocks of the pretrained Diffusion Transformer into a dedicated depth prediction branch for the reconstruction of future spatial information. Moreover, we propose Asynchronous Noise Sampling (ANS) to jointly optimize generation quality and action decoding efficiency. ANS applies a specialized asynchronous denoising schedule during inference, which rapidly decodes actions with fewer steps to enable efficient real-time execution, while dedicating the full sequence of steps to generate high-fidelity video. Rather than entirely decoupling the timesteps during training, ANS samples from their joint distribution to align with the inference distribution. Pretrained on over 5,800 hours of robotic data, X-WAM achieves 79.2% and 90.7% average success rate on RoboCasa and RoboTwin 2.0 benchmarks, while producing high-fidelity 4D reconstruction and generation surpassing existing methods in both visual and geometric metrics.