JARVIS-VLA: Посттренировочные крупномасштабные визуально-языковые модели для игры в визуальные игры с использованием клавиатуры и мыши

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

March 20, 2025

Авторы: Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

cs.AI

Аннотация

В последнее время принятие решений на основе действий в открытых средах привлекает значительное внимание. Модели визуального языка и действий (Visual Language Action, VLA), предварительно обученные на крупномасштабных веб-данных, показали перспективность в задачах принятия решений. Однако предыдущие работы в основном сосредотачивались на пост-обучении действий, часто упуская улучшения базовой модели. В ответ на это мы представляем новый подход, Act from Visual Language Post-Training, который улучшает модели визуального языка (Visual Language Models, VLMs) с помощью визуального и лингвистического руководства в самообучаемом режиме. Это улучшение повышает способности моделей в области знаний о мире, визуального распознавания и пространственной ориентации в открытых средах. Следуя вышеуказанным парадигмам пост-обучения, мы получаем первые модели VLA в Minecraft, способные выполнять человеческие инструкции для более чем 1 тыс. различных атомарных задач, включая создание предметов, плавку, готовку, добычу ресурсов и уничтожение врагов. Наши эксперименты показывают, что пост-обучение на задачах, не связанных с траекториями, приводит к значительному улучшению на 40% по сравнению с лучшим базовым агентом на разнообразном наборе атомарных задач. Кроме того, мы демонстрируем, что наш подход превосходит традиционные политики, основанные на обучении с подражанием в Minecraft, достигая передовых результатов. Мы открыли исходный код, модели и наборы данных для стимулирования дальнейших исследований. Страница проекта доступна по адресу: https://craftjarvis.github.io/JarvisVLA.

English

Recently, action-based decision-making in open-world environments has gained significant attention. Visual Language Action (VLA) models, pretrained on large-scale web datasets, have shown promise in decision-making tasks. However, previous work has primarily focused on action post-training, often neglecting enhancements to the foundational model itself. In response, we introduce a novel approach, Act from Visual Language Post-Training, which refines Visual Language Models (VLMs) through visual and linguistic guidance in a self-supervised manner. This enhancement improves the models' capabilities in world knowledge, visual recognition, and spatial grounding in open-world environments. Following the above post-training paradigms, we obtain the first VLA models in Minecraft that can follow human instructions on over 1k different atomic tasks, including crafting, smelting, cooking, mining, and killing. Our experiments demonstrate that post-training on non-trajectory tasks leads to a significant 40% improvement over the best agent baseline on a diverse set of atomic tasks. Furthermore, we demonstrate that our approach surpasses traditional imitation learning-based policies in Minecraft, achieving state-of-the-art performance. We have open-sourced the code, models, and datasets to foster further research. The project page can be found in https://craftjarvis.github.io/JarvisVLA.