RynnVLA-002: Un Modello Unificato Visione-Linguaggio-Azione e Modello del Mondo
RynnVLA-002: A Unified Vision-Language-Action and World Model
November 21, 2025
Autori: Jun Cen, Siteng Huang, Yuqian Yuan, Hangjie Yuan, Chaohui Yu, Yuming Jiang, Jiayan Guo, Kehan Li, Hao Luo, Fan Wang, Xin Li, Deli Zhao, Hao Chen
cs.AI
Abstract
Introduciamo RynnVLA-002, un modello unificato Visione-Linguaggio-Azione (VLA) e modello del mondo. Il modello del mondo utilizza input azionali e visivi per prevedere gli stati immagine futuri, apprendendo la fisica sottostante dell'ambiente per affinare la generazione delle azioni. Viceversa, il modello VLA produce le azioni successive a partire dalle osservazioni di immagini, migliorando la comprensione visiva e supportando la generazione di immagini del modello del mondo. Il framework unificato di RynnVLA-002 consente l'apprendimento congiunto delle dinamiche ambientali e della pianificazione delle azioni. I nostri esperimenti mostrano che RynnVLA-002 supera i modelli VLA e del mondo individuali, dimostrandone il miglioramento reciproco. Valutiamo RynnVLA-002 sia in compiti di simulazione che in compiti robotici nel mondo reale. RynnVLA-002 raggiunge un tasso di successo del 97,4% sul benchmark di simulazione LIBERO senza pre-addestramento, mentre negli esperimenti reali su LeRobot, il suo modello del mondo integrato aumenta il tasso di successo complessivo del 50%.
English
We introduce RynnVLA-002, a unified Vision-Language-Action (VLA) and world model. The world model leverages action and visual inputs to predict future image states, learning the underlying physics of the environment to refine action generation. Conversely, the VLA model produces subsequent actions from image observations, enhancing visual understanding and supporting the world model's image generation. The unified framework of RynnVLA-002 enables joint learning of environmental dynamics and action planning. Our experiments show that RynnVLA-002 surpasses individual VLA and world models, demonstrating their mutual enhancement. We evaluate RynnVLA-002 in both simulation and real-world robot tasks. RynnVLA-002 achieves 97.4% success rate on the LIBERO simulation benchmark without pretraining, while in real-world LeRobot experiments, its integrated world model boosts the overall success rate by 50%.