VLA^2：未知の概念操作のためのエージェントフレームワークによる視覚-言語-行動モデルの強化

VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation

October 16, 2025

著者: Han Zhao, Jiaxuan Zhang, Wenxuan Song, Pengxiang Ding, Donglin Wang

cs.AI

要旨

大規模なロボットデータで事前学習された現在の視覚-言語-行動（VLA）モデルは、強力なマルチタスク能力を示し、視覚的および言語的な操作指示の変動に対して良好な汎化性能を発揮します。しかし、トレーニングデータ外の物体概念、例えば未見の物体記述やデータセット内のテクスチャなどに直面すると、その成功率は大幅に低下します。この問題に対処するため、我々は新しいエージェント型フレームワークVLA^2を提案します。このフレームワークは、OpenVLAを実行バックボーンとして活用し、ウェブ検索や物体検出などの外部モジュールを効果的に利用して、VLAに対象物体に関する視覚的およびテキスト的な知識を提供します。このアプローチにより、分布外物体の処理における汎化失敗を軽減します。LIBEROシミュレーション環境を基盤として、我々は新しい物体と物体記述を導入し、3つの難易度レベルからなる新しい評価ベンチマークを構築し、本手法の有効性を検証しました。我々のフレームワークは、設計したハードレベルの汎化ベンチマークにおいて、現在の最先端モデルを上回る性能を示しました。スタンドアロンのOpenVLAベースラインと比較して、VLA^2はハードレベルベンチマークで成功率が44.2%向上し、カスタマイズされた全環境において平均20.2%の改善を達成しました。また、ドメイン内タスクでの性能低下は見られませんでした。プロジェクトウェブサイト: https://vla-2.github.io

English

Current vision-language-action (VLA) models, pre-trained on large-scale robotic data, exhibit strong multi-task capabilities and generalize well to variations in visual and language instructions for manipulation. However, their success rate drops significantly when faced with object concepts outside the training data, such as unseen object descriptions and textures in the dataset. To address this, we propose a novel agentic framework, VLA^2, which leverages OpenVLA as the execution backbone and effectively leverages external modules such as web retrieval and object detection to provide visual and textual knowledge about target objects to the VLA. This approach mitigates generalization failure when handling out-of-distribution objects. Based on the LIBERO simulation environment, we introduced novel objects and object descriptions to construct a new evaluation benchmark with three difficulty levels to test the effectiveness of our method. Our framework successfully outperformed the current state-of-the-art models on our designed hard-level generalization benchmark. Compared to the standalone OpenVLA baseline, VLA^2 achieves a 44.2% improvement in the success rate in the hard-level benchmark and an average improvement of 20.2% in all customized environments without any performance degradation on in-domain tasks. Project website: https://vla-2.github.io.