JARVIS-VLA: Post-Trainen van Grootschalige Visueel-Taalmodellen om Visuele Spellen te Spelen met Toetsenbord en Muis

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

March 20, 2025

Auteurs: Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

cs.AI

Samenvatting

Onlangs heeft actiegebaseerde besluitvorming in open-wereldomgevingen aanzienlijke aandacht gekregen. Visual Language Action (VLA)-modellen, vooraf getraind op grootschalige webdatasets, hebben veelbelovende resultaten getoond bij besluitvormingstaken. Eerdere onderzoeken hebben zich echter voornamelijk gericht op actie-na-training, waarbij verbeteringen aan het onderliggende model zelf vaak over het hoofd werden gezien. Als reactie hierop introduceren we een nieuwe aanpak, Act from Visual Language Post-Training, die Visual Language Models (VLMs) verfijnt door middel van visuele en linguïstische begeleiding op een zelfsuperviserende manier. Deze verbetering vergroot de capaciteiten van de modellen op het gebied van wereldkennis, visuele herkenning en ruimtelijke verankering in open-wereldomgevingen. Door de bovenstaande na-trainingsparadigma's te volgen, hebben we de eerste VLA-modellen in Minecraft ontwikkeld die menselijke instructies kunnen volgen voor meer dan 1.000 verschillende atomische taken, waaronder vervaardigen, smelten, koken, mijnen en doden. Onze experimenten tonen aan dat na-training op niet-trajecttaken leidt tot een significante verbetering van 40% ten opzichte van de beste agent-baseline op een diverse set van atomische taken. Bovendien laten we zien dat onze aanpak traditionele op imitatie leren gebaseerde beleidsregels in Minecraft overtreft, wat resulteert in state-of-the-art prestaties. We hebben de code, modellen en datasets openbaar gemaakt om verder onderzoek te bevorderen. De projectpagina is te vinden op https://craftjarvis.github.io/JarvisVLA.

English

Recently, action-based decision-making in open-world environments has gained significant attention. Visual Language Action (VLA) models, pretrained on large-scale web datasets, have shown promise in decision-making tasks. However, previous work has primarily focused on action post-training, often neglecting enhancements to the foundational model itself. In response, we introduce a novel approach, Act from Visual Language Post-Training, which refines Visual Language Models (VLMs) through visual and linguistic guidance in a self-supervised manner. This enhancement improves the models' capabilities in world knowledge, visual recognition, and spatial grounding in open-world environments. Following the above post-training paradigms, we obtain the first VLA models in Minecraft that can follow human instructions on over 1k different atomic tasks, including crafting, smelting, cooking, mining, and killing. Our experiments demonstrate that post-training on non-trajectory tasks leads to a significant 40% improvement over the best agent baseline on a diverse set of atomic tasks. Furthermore, we demonstrate that our approach surpasses traditional imitation learning-based policies in Minecraft, achieving state-of-the-art performance. We have open-sourced the code, models, and datasets to foster further research. The project page can be found in https://craftjarvis.github.io/JarvisVLA.