Show-Harness: VLMエージェントだけでロボットを操作できるShow-Harness: Just a VLM Agent Can Play Robots
基盤視覚言語モデル(VLM)は世界について広範な知能を示すが、その知能をロボット制御へと変換することは依然として難しい。本稿では、意図と行動を結びつけるコンパクトな意味インターフェースを通じて、VLM がロボットを「プレイ」できるようにする身体化ハーネス(Embodied Harness)である Show-Harness を提案する。Show-Harness は、VLM が自然に推論できる離散的な意味的行動単位を公開し、エンボディメント固有のインタプリタがそれらを決定論的に局所的なロボット行動へ接地することで、VLM が細粒度の物理的決定に直接責任を負うようにする。同じインターフェースを通じて、Show-Harness は、(1) クローズドソースのフロンティア VLM をゼロショットロボット制御のために直接活用できること、および (2) 小規模なオープンソース VLM を、わずか数 GPU 時間のファインチューニングで低コスト展開に適応できること、の実現可能性を示す。さらに、GUMI(GUI Manipulation Interface)を開発する。これは、同じ意味的行動空間を GUI ベースのデモンストレーション収集へ拡張し、人間とエージェントが専用の遠隔操作ハードウェアなしに、エンボディメントをまたいでロボットを「プレイ」できるようにする。広範な実験により、Show-Harness を備えた VLM エージェントは、タスク、エンボディメント、環境をまたいで堅牢に汎化し、代表的なエージェント型および VLA パラダイムを上回ることが示される。これらの結果は、適切なインターフェースが、追加のモデル容量や高コストなエンボディメント固有の事前学習を必要とせずに、基盤 VLM から実質的な身体化能力を引き出し得ることを示唆する。