InstructVLA: Настройка инструкций для систем "Видение-Язык-Действие" от понимания к манипуляции

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

July 23, 2025

Авторы: Shuai Yang, Hao Li, Yilun Chen, Bin Wang, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

cs.AI

Аннотация

Для эффективного функционирования в реальном мире роботы должны интегрировать мультимодальное рассуждение с точным генерацией действий. Однако существующие модели "зрение-язык-действие" (VLA) часто жертвуют одним ради другого, ограничивают свои возможности данными, специфичными для конкретных задач манипуляции, и страдают от катастрофического забывания предварительно обученных возможностей в области зрения и языка. Чтобы преодолеть этот разрыв, мы представляем InstructVLA, сквозную модель VLA, которая сохраняет гибкое рассуждение крупных моделей "зрение-язык" (VLM) и при этом демонстрирует ведущую производительность в манипуляции. InstructVLA вводит новую парадигму обучения — настройку инструкций "зрение-язык-действие" (VLA-IT), которая использует мультимодальное обучение с адаптацией на основе смеси экспертов для совместной оптимизации текстового рассуждения и генерации действий как на стандартных корпусах VLM, так и на специально подготовленном наборе данных VLA-IT из 650 тысяч образцов. На задачах в области SimplerEnv InstructVLA достигает улучшения на 30,5% по сравнению с SpatialVLA. Для оценки обобщения мы представляем SimplerEnv-Instruct, бенчмарк из 80 задач, требующих замкнутого управления и понимания высокоуровневых инструкций, где InstructVLA превосходит тонко настроенную OpenVLA на 92% и эксперта по действиям, поддерживаемого GPT-4o, на 29%. Кроме того, InstructVLA превосходит базовые модели VLM на мультимодальных задачах и демонстрирует масштабирование на этапе вывода, используя текстовое рассуждение для повышения производительности манипуляции как в симулированных, так и в реальных условиях. Эти результаты демонстрируют потенциал InstructVLA для объединения интуитивного и управляемого взаимодействия человека и робота с эффективным обучением политик.

English

To operate effectively in the real world, robots must integrate multimodal reasoning with precise action generation. However, existing vision-language-action (VLA) models often sacrifice one for the other, narrow their abilities to task-specific manipulation data, and suffer catastrophic forgetting of pre-trained vision-language capabilities. To bridge this gap, we introduce InstructVLA, an end-to-end VLA model that preserves the flexible reasoning of large vision-language models (VLMs) while delivering leading manipulation performance. InstructVLA introduces a novel training paradigm, Vision-Language-Action Instruction Tuning (VLA-IT), which employs multimodal training with mixture-of-experts adaptation to jointly optimize textual reasoning and action generation on both standard VLM corpora and a curated 650K-sample VLA-IT dataset. On in-domain SimplerEnv tasks, InstructVLA achieves 30.5% improvement over SpatialVLA. To evaluate generalization, we introduce SimplerEnv-Instruct, an 80-task benchmark requiring closed-loop control and high-level instruction understanding, where it outperforms a fine-tuned OpenVLA by 92% and an action expert aided by GPT-4o by 29%. Additionally, InstructVLA surpasses baseline VLMs on multimodal tasks and exhibits inference-time scaling by leveraging textual reasoning to boost manipulation performance in both simulated and real-world settings. These results demonstrate InstructVLA's potential for bridging intuitive and steerable human-robot interaction with efficient policy learning.