VLA^2 : Renforcer les modèles vision-langage-action avec un cadre agentique pour la manipulation de concepts inconnus

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

papers.authors: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

papers.abstract

Les modèles actuels vision-langage-action (VLA), pré-entraînés sur des données robotiques à grande échelle, démontrent de solides capacités multitâches et généralisent bien aux variations des instructions visuelles et linguistiques pour la manipulation. Cependant, leur taux de réussite chute de manière significative lorsqu'ils sont confrontés à des concepts d'objets en dehors des données d'entraînement, tels que des descriptions et textures d'objets non vus dans le jeu de données. Pour remédier à cela, nous proposons un nouveau cadre agentique, VLA^2, qui exploite OpenVLA comme épine dorsale d'exécution et intègre efficacement des modules externes tels que la recherche web et la détection d'objets pour fournir des connaissances visuelles et textuelles sur les objets cibles au modèle VLA. Cette approche atténue les échecs de généralisation lors de la manipulation d'objets hors distribution. Sur la base de l'environnement de simulation LIBERO, nous avons introduit de nouveaux objets et descriptions d'objets pour construire un nouveau benchmark d'évaluation avec trois niveaux de difficulté afin de tester l'efficacité de notre méthode. Notre cadre surpasse avec succès les modèles actuels de pointe sur notre benchmark de généralisation de niveau difficile. Par rapport à la base de référence OpenVLA autonome, VLA^2 réalise une amélioration de 44,2 % du taux de réussite dans le benchmark de niveau difficile et une amélioration moyenne de 20,2 % dans tous les environnements personnalisés, sans aucune dégradation des performances sur les tâches en domaine. Site du projet : https://vla-2.github.io.

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.