スキルハーネス進化による自己進化型身体化エージェント

要旨

具現化エージェントは、基盤モデルを中心としたシステムとして構築されることが増えており、その性能はモデルの重みだけでなく、モデルを取り巻くスキル、コンテキスト、アクションインターフェース、および実行ハーネスにも依存する。教師ありファインチューニングと強化学習はエージェントを新たな環境に適応させることができるが、追加のデータ、報酬、学習実行を必要とする。一方、多くの学習不要のコード中心アプローチは、固定インターフェース環境では利用できない可能性のあるプログラム可能なロボットAPIに依存している。本稿では、学習不要の具現化適応のための自己進化型フレームワークであるSHAPERを提案する。SHAPERは、モデルパラメータを凍結したまま、対象環境でのロールアウトを通じて再利用可能なスキルとコンテキストコードハーネスを進化させることで、ノンパラメトリックなエージェントシステムを改善する。SHAPERでは、同一の凍結モデルがプランナーとオプティマイザーの両方の役割を果たし、パラメータ更新を伴わずに外部スキルとコンテキストコードハーネスを洗練する。我々は、異なる低レベルアクションインターフェースを持つ具現化エージェントを対象として、VLABenchとESI-BenchでSHAPERを評価し、純粋な実行、教師ありファインチューニング、検証器なし選択や投票などのテスト時スケーリングのベースラインと比較する。我々の結果は、モデル学習が高価である、利用不可能である、または望ましくない場合に、スキルとハーネスの最適化が自己進化型具現化エージェントへの実用的な経路となることを示唆している。

English

Embodied agents are increasingly built as systems around foundation models, where performance depends not only on model weights but also on the skills, context, action interfaces, and execution harness surrounding the model. While supervised fine-tuning and reinforcement learning can adapt agents to new environments, they require additional data, rewards, and training runs; meanwhile, many train-free code-centric approaches rely on programmable robot APIs that may be unavailable in fixed-interface settings. We propose SHAPER, a self-evolving framework for train-free embodied adaptation that keeps model parameters frozen and improves the non-parametric agent system by evolving reusable skills and a context-code harness through target-environment rollouts. In SHAPER, the same frozen model can serve as both planner and optimizer, refining its external skills and context-code harness without parameter updates. We evaluate SHAPER on VLABench and ESI-Bench, covering embodied agents with different low-level action interfaces, and compare against pure execution, supervised fine-tuning, and test-time-scaling baselines such as verifier-free selection and voting. Our results suggest that skill-and-harness optimization is a practical route to self-evolving embodied agents when model training is expensive, unavailable, or undesirable.