Los Modelos de Acción Mundial son Políticas de Cero Disparos.
World Action Models are Zero-shot Policies
February 17, 2026
Autores: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Bjorck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi "Jim" Fan, Joel Jang
cs.AI
Resumen
Los modelos de última generación de Visión-Lenguaje-Acción (VLA) sobresalen en la generalización semántica pero tienen dificultades para generalizar a movimientos físicos no vistos en entornos novedosos. Presentamos DreamZero, un Modelo de Acción Mundial (WAM, por sus siglas en inglés) construido sobre un modelo base de difusión de vídeo preentrenado. A diferencia de los VLA, los WAM aprenden dinámicas físicas prediciendo estados y acciones futuras del mundo, utilizando el vídeo como una representación densa de cómo evoluciona el mundo. Al modelar conjuntamente vídeo y acción, DreamZero aprende diversas habilidades de manera efectiva a partir de datos heterogéneos de robots sin depender de demostraciones repetitivas. Esto resulta en una mejora de más del doble en la generalización a nuevas tareas y entornos en comparación con los VLA de última generación en experimentos con robots reales. Crucialmente, mediante optimizaciones del modelo y del sistema, permitimos que un modelo de difusión de vídeo autoregresivo de 14B realice control en lazo cerrado en tiempo real a 7Hz. Finalmente, demostramos dos formas de transferencia de encarnación cruzada: las demostraciones basadas únicamente en vídeo de otros robots o humanos producen una mejora relativa de más del 42% en el rendimiento de tareas no vistas con solo 10-20 minutos de datos. Más sorprendentemente, DreamZero permite la adaptación de encarnación con pocos ejemplos, transfiriéndose a una nueva encarnación con solo 30 minutos de datos de juego mientras mantiene la generalización de cero disparos.
English
State-of-the-art Vision-Language-Action (VLA) models excel at semantic generalization but struggle to generalize to unseen physical motions in novel environments. We introduce DreamZero, a World Action Model (WAM) built upon a pretrained video diffusion backbone. Unlike VLAs, WAMs learn physical dynamics by predicting future world states and actions, using video as a dense representation of how the world evolves. By jointly modeling video and action, DreamZero learns diverse skills effectively from heterogeneous robot data without relying on repetitive demonstrations. This results in over 2x improvement in generalization to new tasks and environments compared to state-of-the-art VLAs in real robot experiments. Crucially, through model and system optimizations, we enable a 14B autoregressive video diffusion model to perform real-time closed-loop control at 7Hz. Finally, we demonstrate two forms of cross-embodiment transfer: video-only demonstrations from other robots or humans yield a relative improvement of over 42% on unseen task performance with just 10-20 minutes of data. More surprisingly, DreamZero enables few-shot embodiment adaptation, transferring to a new embodiment with only 30 minutes of play data while retaining zero-shot generalization.