RynnVLA-002: Um Modelo Unificado de Visão, Linguagem, Ação e Mundo
RynnVLA-002: A Unified Vision-Language-Action and World Model
November 21, 2025
Autores: Jun Cen, Siteng Huang, Yuqian Yuan, Hangjie Yuan, Chaohui Yu, Yuming Jiang, Jiayan Guo, Kehan Li, Hao Luo, Fan Wang, Xin Li, Deli Zhao, Hao Chen
cs.AI
Resumo
Apresentamos o RynnVLA-002, um modelo unificado de Visão-Linguagem-Ação (VLA) e modelo de mundo. O modelo de mundo utiliza entradas de ação e visuais para prever estados de imagem futuros, aprendendo a física subjacente do ambiente para refinar a geração de ações. Por outro lado, o modelo VLA produz ações subsequentes a partir de observações de imagem, aprimorando a compreensão visual e apoiando a geração de imagens do modelo de mundo. A estrutura unificada do RynnVLA-002 permite a aprendizagem conjunta da dinâmica ambiental e do planejamento de ações. Nossos experimentos mostram que o RynnVLA-002 supera os modelos individuais de VLA e modelos de mundo, demonstrando seu aprimoramento mútuo. Avaliamos o RynnVLA-002 tanto em tarefas de simulação quanto em tarefas de robôs no mundo real. O RynnVLA-002 atinge uma taxa de sucesso de 97,4% no benchmark de simulação LIBERO sem pré-treinamento, enquanto nos experimentos reais do LeRobot, seu modelo de mundo integrado aumenta a taxa de sucesso geral em 50%.
English
We introduce RynnVLA-002, a unified Vision-Language-Action (VLA) and world model. The world model leverages action and visual inputs to predict future image states, learning the underlying physics of the environment to refine action generation. Conversely, the VLA model produces subsequent actions from image observations, enhancing visual understanding and supporting the world model's image generation. The unified framework of RynnVLA-002 enables joint learning of environmental dynamics and action planning. Our experiments show that RynnVLA-002 surpasses individual VLA and world models, demonstrating their mutual enhancement. We evaluate RynnVLA-002 in both simulation and real-world robot tasks. RynnVLA-002 achieves 97.4% success rate on the LIBERO simulation benchmark without pretraining, while in real-world LeRobot experiments, its integrated world model boosts the overall success rate by 50%.