VLA^2: Capacitando Modelos Visão-Linguagem-Ação com uma Estrutura Agente para Manipulação de Conceitos Não Vistos

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

Autores: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

Resumo

Os modelos atuais de visão-linguagem-ação (VLA), pré-treinados em dados robóticos em grande escala, exibem fortes capacidades multitarefa e generalizam bem para variações em instruções visuais e linguísticas para manipulação. No entanto, sua taxa de sucesso cai significativamente quando confrontados com conceitos de objetos fora dos dados de treinamento, como descrições e texturas de objetos não vistos no conjunto de dados. Para resolver isso, propomos uma nova estrutura agentiva, VLA^2, que aproveita o OpenVLA como backbone de execução e utiliza efetivamente módulos externos, como recuperação na web e detecção de objetos, para fornecer conhecimento visual e textual sobre os objetos-alvo ao VLA. Essa abordagem mitiga a falha de generalização ao lidar com objetos fora da distribuição. Com base no ambiente de simulação LIBERO, introduzimos novos objetos e descrições de objetos para construir um novo benchmark de avaliação com três níveis de dificuldade para testar a eficácia do nosso método. Nossa estrutura superou com sucesso os modelos state-of-the-art atuais em nosso benchmark de generalização de nível difícil projetado. Em comparação com a linha de base OpenVLA autônoma, o VLA^2 alcança uma melhoria de 44,2% na taxa de sucesso no benchmark de nível difícil e uma melhoria média de 20,2% em todos os ambientes personalizados, sem qualquer degradação de desempenho em tarefas dentro do domínio. Site do projeto: https://vla-2.github.io.

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.