VLA^2: Stärkung von Vision-Language-Action-Modellen durch ein agentenbasiertes Framework zur Manipulation unbekannter Konzepte

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

papers.authors: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

papers.abstract

Aktuelle Vision-Sprache-Handlung (VLA)-Modelle, die auf groß angelegten Roboterdaten vortrainiert wurden, zeigen starke Fähigkeiten in der Bewältigung multipler Aufgaben und generalisieren gut bei Variationen in visuellen und sprachlichen Anweisungen für Manipulationen. Ihre Erfolgsrate sinkt jedoch signifikant, wenn sie mit Objektkonzepten konfrontiert werden, die außerhalb der Trainingsdaten liegen, wie beispielsweise unbekannte Objektbeschreibungen und Texturen im Datensatz. Um dies zu adressieren, schlagen wir ein neuartiges agentenbasiertes Framework, VLA^2, vor, das OpenVLA als Ausführungsrückgrat nutzt und effektiv externe Module wie Web-Retrieval und Objekterkennung einsetzt, um dem VLA visuelles und textuelles Wissen über Zielobjekte bereitzustellen. Dieser Ansatz mildert Generalisierungsfehler bei der Handhabung von außerhalb der Verteilung liegenden Objekten. Basierend auf der LIBERO-Simulationsumgebung führten wir neue Objekte und Objektbeschreibungen ein, um einen neuen Evaluationsbenchmark mit drei Schwierigkeitsstufen zu konstruieren, um die Effektivität unserer Methode zu testen. Unser Framework übertraf erfolgreich die aktuellen State-of-the-Art-Modelle in unserem entworfenen Benchmark für schwierige Generalisierung. Im Vergleich zur eigenständigen OpenVLA-Baseline erreicht VLA^2 eine Verbesserung der Erfolgsrate von 44,2 % im Benchmark für schwierige Stufen und eine durchschnittliche Verbesserung von 20,2 % in allen angepassten Umgebungen, ohne Leistungseinbußen bei in-domain-Aufgaben. Projektwebsite: https://vla-2.github.io.

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.