I modelli di azione mondiale sono politiche zero-shot.

Abstract

I modelli Vision-Language-Action (VLA) all'avanguardia eccellono nella generalizzazione semantica ma faticano a generalizzare verso movimenti fisici non visti in ambienti nuovi. Introduciamo DreamZero, un World Action Model (WAM) costruito su un'architettura base di diffusione video pre-addestrata. A differenza dei VLA, i WAM apprendono le dinamiche fisiche prevedendo gli stati futuri del mondo e le azioni, utilizzando il video come rappresentazione densa di come il mondo evolve. Modellando congiuntamente video e azioni, DreamZero apprende efficacemente abilità diverse da dati robotici eterogenei senza fare affidamento su dimostrazioni ripetitive. Ciò si traduce in un miglioramento di oltre 2 volte nella generalizzazione verso nuovi compiti e ambienti rispetto ai VLA all'avanguardia in esperimenti con robot reali. Fondamentalmente, grazie a ottimizzazioni del modello e del sistema, permettiamo a un modello autoregressivo di diffusione video da 14B di eseguire un controllo in closed-loop in tempo reale a 7Hz. Infine, dimostriamo due forme di trasferimento cross-embodiment: dimostrazioni basate solo su video provenienti da altri robot o esseri umani producono un miglioramento relativo di oltre il 42% sulle prestazioni in compiti non visti con soli 10-20 minuti di dati. Ancora più sorprendentemente, DreamZero permette un adattamento dell'embodiment few-shot, trasferendosi a un nuovo embodiment con soli 30 minuti di dati di gioco pur mantenendo la generalizzazione zero-shot.

English

State-of-the-art Vision-Language-Action (VLA) models excel at semantic generalization but struggle to generalize to unseen physical motions in novel environments. We introduce DreamZero, a World Action Model (WAM) built upon a pretrained video diffusion backbone. Unlike VLAs, WAMs learn physical dynamics by predicting future world states and actions, using video as a dense representation of how the world evolves. By jointly modeling video and action, DreamZero learns diverse skills effectively from heterogeneous robot data without relying on repetitive demonstrations. This results in over 2x improvement in generalization to new tasks and environments compared to state-of-the-art VLAs in real robot experiments. Crucially, through model and system optimizations, we enable a 14B autoregressive video diffusion model to perform real-time closed-loop control at 7Hz. Finally, we demonstrate two forms of cross-embodiment transfer: video-only demonstrations from other robots or humans yield a relative improvement of over 42% on unseen task performance with just 10-20 minutes of data. More surprisingly, DreamZero enables few-shot embodiment adaptation, transferring to a new embodiment with only 30 minutes of play data while retaining zero-shot generalization.

I modelli di azione mondiale sono politiche zero-shot.

World Action Models are Zero-shot Policies

Abstract

Support