VLA^2: Potenziamento dei modelli Visione-Linguaggio-Azione con un framework agentivo per la manipolazione di concetti non visti

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

Autori: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

Abstract

I modelli attuali visione-linguaggio-azione (VLA), pre-addestrati su dati robotici su larga scala, dimostrano forti capacità multi-task e si generalizzano bene alle variazioni nelle istruzioni visive e linguistiche per la manipolazione. Tuttavia, il loro tasso di successo diminuisce significativamente quando si trovano di fronte a concetti di oggetti esterni ai dati di addestramento, come descrizioni e texture di oggetti non visti nel dataset. Per affrontare questo problema, proponiamo un nuovo framework agentico, VLA^2, che utilizza OpenVLA come backbone di esecuzione e sfrutta efficacemente moduli esterni come il recupero web e la rilevazione di oggetti per fornire conoscenze visive e testuali sugli oggetti target al VLA. Questo approccio mitiga il fallimento della generalizzazione quando si gestiscono oggetti fuori distribuzione. Basandoci sull'ambiente di simulazione LIBERO, abbiamo introdotto nuovi oggetti e descrizioni di oggetti per costruire un nuovo benchmark di valutazione con tre livelli di difficoltà per testare l'efficacia del nostro metodo. Il nostro framework ha superato con successo i modelli attuali all'avanguardia sul nostro benchmark di generalizzazione di livello difficile progettato. Rispetto alla baseline standalone di OpenVLA, VLA^2 raggiunge un miglioramento del 44,2% nel tasso di successo nel benchmark di livello difficile e un miglioramento medio del 20,2% in tutti gli ambienti personalizzati senza alcun degrado delle prestazioni sui task in dominio. Sito web del progetto: https://vla-2.github.io.

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.