VLA^2: Расширение возможностей моделей "Видение-Язык-Действие" с помощью агентного фреймворка для манипуляции с неизвестными концепциями

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

Авторы: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

Аннотация

Современные модели, объединяющие зрение, язык и действия (VLA), предварительно обученные на крупномасштабных роботизированных данных, демонстрируют мощные возможности для выполнения множества задач и хорошо обобщаются на вариации визуальных и языковых инструкций для манипуляций. Однако их успешность значительно снижается при столкновении с концепциями объектов, выходящими за пределы обучающих данных, такими как неизвестные описания объектов и текстуры в наборе данных. Для решения этой проблемы мы предлагаем новый агентный фреймворк VLA^2, который использует OpenVLA в качестве основы для выполнения и эффективно задействует внешние модули, такие как веб-поиск и обнаружение объектов, чтобы предоставить VLA визуальную и текстовую информацию о целевых объектах. Этот подход смягчает проблемы обобщения при работе с объектами, выходящими за пределы распределения данных. На основе симуляционной среды LIBERO мы ввели новые объекты и их описания, чтобы создать новый оценочный бенчмарк с тремя уровнями сложности для проверки эффективности нашего метода. Наш фреймворк успешно превзошел современные модели на разработанном нами бенчмарке для сложного уровня обобщения. По сравнению с базовой моделью OpenVLA, VLA^2 демонстрирует улучшение успешности на 44,2% на сложном уровне бенчмарка и среднее улучшение на 20,2% во всех пользовательских средах без снижения производительности на задачах в рамках распределения данных. Сайт проекта: https://vla-2.github.io.

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.