Modelado Unificado de Acciones en un Mundo 4D a partir de Priors de Video con Desruido Asíncrono
Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising
April 29, 2026
Autores: Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu
cs.AI
Resumen
Proponemos X-WAM, un Modelo Mundial Unificado 4D que unifica la ejecución de acciones robóticas en tiempo real y la síntesis de mundos 4D de alta fidelidad (video + reconstrucción 3D) en un único marco, abordando las limitaciones críticas de los modelos mundiales unificados previos (por ejemplo, UWM) que solo modelan el espacio de píxeles 2D y no logran equilibrar la eficiencia de la acción y la calidad del modelado mundial. Para aprovechar los fuertes *priors* visuales de los modelos de difusión de video preentrenados, X-WAM imagina el mundo futuro prediciendo videos RGB-D multi-vista, y obtiene información espacial de manera eficiente mediante una adaptación estructural ligera: replicando los últimos bloques del *Diffusion Transformer* preentrenado en una rama dedicada a la predicción de profundidad para la reconstrucción de la información espacial futura. Además, proponemos el Muestreo de Ruido Asíncrono (ANS, por sus siglas en inglés) para optimizar conjuntamente la calidad de la generación y la eficiencia de la decodificación de acciones. ANS aplica un programa de eliminación de ruido asíncrono especializado durante la inferencia, que decodifica acciones rápidamente con menos pasos para permitir una ejecución eficiente en tiempo real, mientras dedica la secuencia completa de pasos para generar video de alta fidelidad. En lugar de desacoplar completamente los intervalos de tiempo durante el entrenamiento, ANS muestrea de su distribución conjunta para alinearse con la distribución de inferencia. Preentrenado con más de 5.800 horas de datos robóticos, X-WAM alcanza una tasa de éxito promedio del 79.2% y 90.7% en los puntos de referencia RoboCasa y RoboTwin 2.0, mientras produce una reconstrucción y generación 4D de alta fidelidad que supera a los métodos existentes tanto en métricas visuales como geométricas.
English
We propose X-WAM, a Unified 4D World Model that unifies real-time robotic action execution and high-fidelity 4D world synthesis (video + 3D reconstruction) in a single framework, addressing the critical limitations of prior unified world models (e.g., UWM) that only model 2D pixel-space and fail to balance action efficiency and world modeling quality. To leverage the strong visual priors of pretrained video diffusion models, X-WAM imagines the future world by predicting multi-view RGB-D videos, and obtains spatial information efficiently through a lightweight structural adaptation: replicating the final few blocks of the pretrained Diffusion Transformer into a dedicated depth prediction branch for the reconstruction of future spatial information. Moreover, we propose Asynchronous Noise Sampling (ANS) to jointly optimize generation quality and action decoding efficiency. ANS applies a specialized asynchronous denoising schedule during inference, which rapidly decodes actions with fewer steps to enable efficient real-time execution, while dedicating the full sequence of steps to generate high-fidelity video. Rather than entirely decoupling the timesteps during training, ANS samples from their joint distribution to align with the inference distribution. Pretrained on over 5,800 hours of robotic data, X-WAM achieves 79.2% and 90.7% average success rate on RoboCasa and RoboTwin 2.0 benchmarks, while producing high-fidelity 4D reconstruction and generation surpassing existing methods in both visual and geometric metrics.