JARVIS-VLA: Pós-treinamento de Modelos de Linguagem e Visão em Grande Escala para Jogar Jogos Visuais com Teclado e Mouse

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

March 20, 2025

Autores: Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

cs.AI

Resumo

Recentemente, a tomada de decisão baseada em ações em ambientes de mundo aberto tem recebido atenção significativa. Modelos de Linguagem Visual e Ação (VLA), pré-treinados em grandes conjuntos de dados da web, têm mostrado potencial em tarefas de tomada de decisão. No entanto, trabalhos anteriores focaram principalmente na pós-treinamento de ações, muitas vezes negligenciando melhorias no modelo base. Em resposta, introduzimos uma nova abordagem, chamada "Agir a partir de Pós-Treinamento de Linguagem Visual", que refina Modelos de Linguagem Visual (VLMs) por meio de orientação visual e linguística de forma auto-supervisionada. Esse aprimoramento melhora as capacidades dos modelos em conhecimento do mundo, reconhecimento visual e fundamentação espacial em ambientes de mundo aberto. Seguindo os paradigmas de pós-treinamento mencionados, obtivemos os primeiros modelos VLA no Minecraft capazes de seguir instruções humanas em mais de 1.000 tarefas atômicas diferentes, incluindo criação, fundição, cozimento, mineração e combate. Nossos experimentos demonstram que o pós-treinamento em tarefas não relacionadas a trajetórias resulta em uma melhoria significativa de 40% em relação à melhor linha de base de agentes em um conjunto diversificado de tarefas atômicas. Além disso, mostramos que nossa abordagem supera políticas baseadas em aprendizado por imitação tradicionais no Minecraft, alcançando desempenho de ponta. Disponibilizamos o código, modelos e conjuntos de dados para promover pesquisas futuras. A página do projeto pode ser encontrada em https://craftjarvis.github.io/JarvisVLA.

English

Recently, action-based decision-making in open-world environments has gained significant attention. Visual Language Action (VLA) models, pretrained on large-scale web datasets, have shown promise in decision-making tasks. However, previous work has primarily focused on action post-training, often neglecting enhancements to the foundational model itself. In response, we introduce a novel approach, Act from Visual Language Post-Training, which refines Visual Language Models (VLMs) through visual and linguistic guidance in a self-supervised manner. This enhancement improves the models' capabilities in world knowledge, visual recognition, and spatial grounding in open-world environments. Following the above post-training paradigms, we obtain the first VLA models in Minecraft that can follow human instructions on over 1k different atomic tasks, including crafting, smelting, cooking, mining, and killing. Our experiments demonstrate that post-training on non-trajectory tasks leads to a significant 40% improvement over the best agent baseline on a diverse set of atomic tasks. Furthermore, we demonstrate that our approach surpasses traditional imitation learning-based policies in Minecraft, achieving state-of-the-art performance. We have open-sourced the code, models, and datasets to foster further research. The project page can be found in https://craftjarvis.github.io/JarvisVLA.