EmbodiedSkills：VLAエージェントをオーケストレーション、訓練、展開するための統一フレームワーク

要旨

視覚・言語・行動（VLA）モデルは、視覚観測と言語指示をロボットの行動に直接対応付けるが、長期的タスクには行動予測だけでは不十分である。エージェントは、物理的状態が変化していくなかで、知覚・計画・実行・進捗検証・復旧を統合的に調整しなければならない。行動予測やモデルが生成したスキル決定は、それ自体では、提案された操作が現在の状態で有効であることも、その結果が検証されることも保証しない。そこで本稿では、各スキル決定を「実行提案（execution proposal）」として扱う統合フレームワークEmbodiedSkillsを提案する。本フレームワークでは、ランタイムが実行前にその前提条件を確認し、実行後にその結果を検証する。共通の実行可能スキルインターフェースは、高レベルのスキル選択、範囲を限定した低レベルVLA実行、および行動後検証を、単一のエージェントループ内で接続する。このインターフェースは固定されているため、エージェントループを変更することなく、低レベルVLAポリシーの交換や適応が可能である。また、このインターフェースは、計画・実行・検証・復旧の各イベントを構造化された軌跡（structured trajectories）として記録する。この軌跡は、個々の構成要素に対する教師信号を提供し、インタラクティブなフィードバックが利用可能な場合には、オプションとしてのオンライン適応も支援できる。本稿では、RoboTwin 2.0およびLIBERO上で、Qwen3-VLとOpenPI/pi0.5を用いてEmbodiedSkillsを実装した。タスク適応済みの低レベルVLAポリシーは、RoboTwin 2.0の50タスク全体で平均成功率86.20%、LIBEROの4つのスイート全体で平均成功率97.40%を達成した。これらの結果は、EmbodiedSkillsで用いるタスク適応済み低レベルVLAポリシーの実行性能を実証している。一方、記憶に依存する4つのRMBenchタスクでは、同じタスク適応型の実行手法の平均成功率は12.5%であった。本フレームワークは、こうした低レベルVLAポリシーを閉ループの身体化システムへと転換するための、学習可能かつ検査可能なエージェント層を提供する。

English

Vision-language-action (VLA) models map visual observations and language instructions directly to robot actions, but long-horizon tasks require more than action prediction. An agent must coordinate perception, planning, execution, progress verification, and recovery as the physical state evolves. An action prediction or a model-generated skill decision does not, by itself, guarantee that the proposed operation is valid in the current state or that its outcome will be verified. We propose EmbodiedSkills, a unified framework that treats each skill decision as an execution proposal: the runtime checks its prerequisites before execution and verifies the outcome afterward. A shared executable-skill interface connects high-level skill selection, bounded low-level VLA execution, and post-action verification within a single agent loop. Because this interface remains fixed, low-level VLA policies can be replaced or adapted without changing the agent loop. The interface also records planning, execution, verification, and recovery events as structured trajectories, which provide supervision for individual components and can support optional online adaptation when interactive feedback is available. We instantiate EmbodiedSkills with Qwen3-VL and OpenPI/pi0.5 on RoboTwin 2.0 and LIBERO. Task-adapted low-level VLA policies achieve an average success rate of 86.20% across 50 RoboTwin 2.0 tasks and 97.40% across the four LIBERO suites. These results establish the execution performance of the task-adapted low-level VLA policies used in EmbodiedSkills. On four memory-dependent RMBench tasks, the same task-adapted execution approach achieves 12.5% average success. The framework provides a trainable and inspectable agent layer for turning these policies into closed-loop embodied systems.