JARVIS-VLA: Ajuste posterior de modelos de visión y lenguaje a gran escala para jugar juegos visuales con teclado y ratón

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

March 20, 2025

Autores: Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

cs.AI

Resumen

Recientemente, la toma de decisiones basada en acciones en entornos de mundo abierto ha ganado una atención significativa. Los modelos de Acción de Lenguaje Visual (VLA), preentrenados en grandes conjuntos de datos web, han mostrado potencial en tareas de toma de decisiones. Sin embargo, trabajos anteriores se han centrado principalmente en la post-entrenamiento de acciones, a menudo descuidando mejoras al modelo base en sí. En respuesta, introducimos un enfoque novedoso, Actuar desde el Post-Entrenamiento de Lenguaje Visual, que refina los Modelos de Lenguaje Visual (VLMs) mediante guía visual y lingüística de manera auto-supervisada. Esta mejora aumenta las capacidades de los modelos en conocimiento del mundo, reconocimiento visual y fundamentación espacial en entornos de mundo abierto. Siguiendo los paradigmas de post-entrenamiento mencionados, obtenemos los primeros modelos VLA en Minecraft que pueden seguir instrucciones humanas en más de 1k tareas atómicas diferentes, incluyendo fabricación, fundición, cocina, minería y combate. Nuestros experimentos demuestran que el post-entrenamiento en tareas no relacionadas con trayectorias conduce a una mejora del 40% sobre el mejor agente de referencia en un conjunto diverso de tareas atómicas. Además, demostramos que nuestro enfoque supera las políticas tradicionales basadas en aprendizaje por imitación en Minecraft, logrando un rendimiento de vanguardia. Hemos liberado el código, modelos y conjuntos de datos para fomentar más investigación. La página del proyecto se puede encontrar en https://craftjarvis.github.io/JarvisVLA.

English

Recently, action-based decision-making in open-world environments has gained significant attention. Visual Language Action (VLA) models, pretrained on large-scale web datasets, have shown promise in decision-making tasks. However, previous work has primarily focused on action post-training, often neglecting enhancements to the foundational model itself. In response, we introduce a novel approach, Act from Visual Language Post-Training, which refines Visual Language Models (VLMs) through visual and linguistic guidance in a self-supervised manner. This enhancement improves the models' capabilities in world knowledge, visual recognition, and spatial grounding in open-world environments. Following the above post-training paradigms, we obtain the first VLA models in Minecraft that can follow human instructions on over 1k different atomic tasks, including crafting, smelting, cooking, mining, and killing. Our experiments demonstrate that post-training on non-trajectory tasks leads to a significant 40% improvement over the best agent baseline on a diverse set of atomic tasks. Furthermore, we demonstrate that our approach surpasses traditional imitation learning-based policies in Minecraft, achieving state-of-the-art performance. We have open-sourced the code, models, and datasets to foster further research. The project page can be found in https://craftjarvis.github.io/JarvisVLA.