JARVIS-VLA : Adaptation post-entraînement de modèles de vision et langage à grande échelle pour jouer à des jeux visuels avec clavier et souris

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

March 20, 2025

Auteurs: Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

cs.AI

Résumé

Récemment, la prise de décision basée sur l'action dans des environnements en monde ouvert a suscité une attention considérable. Les modèles de Langage Visuel Action (VLA), pré-entraînés sur des ensembles de données web à grande échelle, ont montré des résultats prometteurs dans les tâches de prise de décision. Cependant, les travaux précédents se sont principalement concentrés sur l'action post-entraînement, négligeant souvent les améliorations apportées au modèle de base lui-même. En réponse, nous introduisons une nouvelle approche, Act from Visual Language Post-Training, qui affine les modèles de Langage Visuel (VLMs) grâce à des guidages visuels et linguistiques de manière auto-supervisée. Cette amélioration renforce les capacités des modèles en matière de connaissances du monde, de reconnaissance visuelle et de localisation spatiale dans des environnements en monde ouvert. En suivant les paradigmes de post-entraînement mentionnés ci-dessus, nous obtenons les premiers modèles VLA dans Minecraft capables de suivre des instructions humaines sur plus de 1 000 tâches atomiques différentes, incluant la fabrication, la fusion, la cuisine, l'extraction minière et le combat. Nos expériences démontrent que le post-entraînement sur des tâches non-trajectoires conduit à une amélioration significative de 40 % par rapport au meilleur agent de référence sur un ensemble diversifié de tâches atomiques. De plus, nous montrons que notre approche surpasse les politiques traditionnelles basées sur l'apprentissage par imitation dans Minecraft, atteignant des performances de pointe. Nous avons ouvert le code, les modèles et les ensembles de données pour favoriser des recherches ultérieures. La page du projet est disponible à l'adresse suivante : https://craftjarvis.github.io/JarvisVLA.

English

Recently, action-based decision-making in open-world environments has gained significant attention. Visual Language Action (VLA) models, pretrained on large-scale web datasets, have shown promise in decision-making tasks. However, previous work has primarily focused on action post-training, often neglecting enhancements to the foundational model itself. In response, we introduce a novel approach, Act from Visual Language Post-Training, which refines Visual Language Models (VLMs) through visual and linguistic guidance in a self-supervised manner. This enhancement improves the models' capabilities in world knowledge, visual recognition, and spatial grounding in open-world environments. Following the above post-training paradigms, we obtain the first VLA models in Minecraft that can follow human instructions on over 1k different atomic tasks, including crafting, smelting, cooking, mining, and killing. Our experiments demonstrate that post-training on non-trajectory tasks leads to a significant 40% improvement over the best agent baseline on a diverse set of atomic tasks. Furthermore, we demonstrate that our approach surpasses traditional imitation learning-based policies in Minecraft, achieving state-of-the-art performance. We have open-sourced the code, models, and datasets to foster further research. The project page can be found in https://craftjarvis.github.io/JarvisVLA.