Wereldactiemodellen zijn zero-shot-beleidsregels.
World Action Models are Zero-shot Policies
February 17, 2026
Auteurs: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Bjorck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi "Jim" Fan, Joel Jang
cs.AI
Samenvatting
State-of-the-art Vision-Language-Action (VLA)-modellen blinken uit in semantische generalisatie, maar hebben moeite om te generaliseren naar onbekende fysieke bewegingen in nieuwe omgevingen. Wij introduceren DreamZero, een World Action Model (WAM) gebouwd op een voorgetrainde video-diffusie-backbone. In tegenstelling tot VLA's leren WAM's fysieke dynamiek door toekomstige wereldstatussen en acties te voorspellen, waarbij video wordt gebruikt als een dichte representatie van hoe de wereld evolueert. Door video en actie gezamenlijk te modelleren, leert DreamZero effectief diverse vaardigheden aan van heterogene robotgegevens, zonder afhankelijk te zijn van repetitieve demonstraties. Dit resulteert in een meer dan 2x verbetering in generalisatie naar nieuwe taken en omgevingen vergeleken met state-of-the-art VLA's in echte robotexperimenten. Cruciaal is dat we, door model- en systeemoptimalisaties, een autoregressief video-diffusiemodel van 14B in staat stellen real-time closed-loop controle uit te voeren op 7Hz. Ten slotte demonstreren we twee vormen van cross-embodiment transfer: demonstraties met alleen video van andere robots of mensen leveren een relatieve verbetering van meer dan 42% op in de prestaties van onbekende taken met slechts 10-20 minuten aan gegevens. Verrassender nog stelt DreamZero few-shot embodiment-aanpassing mogelijk, waarbij het met slechts 30 minuten speelgegevens naar een nieuwe embodiment wordt overgedragen, terwijl de zero-shot generalisatie behouden blijft.
English
State-of-the-art Vision-Language-Action (VLA) models excel at semantic generalization but struggle to generalize to unseen physical motions in novel environments. We introduce DreamZero, a World Action Model (WAM) built upon a pretrained video diffusion backbone. Unlike VLAs, WAMs learn physical dynamics by predicting future world states and actions, using video as a dense representation of how the world evolves. By jointly modeling video and action, DreamZero learns diverse skills effectively from heterogeneous robot data without relying on repetitive demonstrations. This results in over 2x improvement in generalization to new tasks and environments compared to state-of-the-art VLAs in real robot experiments. Crucially, through model and system optimizations, we enable a 14B autoregressive video diffusion model to perform real-time closed-loop control at 7Hz. Finally, we demonstrate two forms of cross-embodiment transfer: video-only demonstrations from other robots or humans yield a relative improvement of over 42% on unseen task performance with just 10-20 minutes of data. More surprisingly, DreamZero enables few-shot embodiment adaptation, transferring to a new embodiment with only 30 minutes of play data while retaining zero-shot generalization.