Show-Harness: VLMエージェントだけでロボットを操作できる

要旨

基盤視覚言語モデル（VLM）は世界について広範な知能を示すが、その知能をロボット制御へと変換することは依然として難しい。本稿では、意図と行動を結びつけるコンパクトな意味インターフェースを通じて、VLM がロボットを「プレイ」できるようにする身体化ハーネス（Embodied Harness）である Show-Harness を提案する。Show-Harness は、VLM が自然に推論できる離散的な意味的行動単位を公開し、エンボディメント固有のインタプリタがそれらを決定論的に局所的なロボット行動へ接地することで、VLM が細粒度の物理的決定に直接責任を負うようにする。同じインターフェースを通じて、Show-Harness は、(1) クローズドソースのフロンティア VLM をゼロショットロボット制御のために直接活用できること、および (2) 小規模なオープンソース VLM を、わずか数 GPU 時間のファインチューニングで低コスト展開に適応できること、の実現可能性を示す。さらに、GUMI（GUI Manipulation Interface）を開発する。これは、同じ意味的行動空間を GUI ベースのデモンストレーション収集へ拡張し、人間とエージェントが専用の遠隔操作ハードウェアなしに、エンボディメントをまたいでロボットを「プレイ」できるようにする。広範な実験により、Show-Harness を備えた VLM エージェントは、タスク、エンボディメント、環境をまたいで堅牢に汎化し、代表的なエージェント型および VLA パラダイムを上回ることが示される。これらの結果は、適切なインターフェースが、追加のモデル容量や高コストなエンボディメント固有の事前学習を必要とせずに、基盤 VLM から実質的な身体化能力を引き出し得ることを示唆する。

English

Foundation vision-language models (VLMs) exhibit broad intelligence about the world, yet translating this intelligence into robot control remains challenging. We present Show-Harness, an Embodied Harness that enables VLMs to "play" robots through a compact semantic interface linking intent to action. Show-Harness exposes discrete semantic action units that VLMs can naturally reason over, while embodiment-specific interpreters deterministically ground them into local robot actions, keeping the VLM directly responsible for fine-grained physical decisions. Through the same interface, Show-Harness demonstrates the feasibility of (1) directly unlocking closed-source frontier VLMs for zero-shot robot control, and (2) adapting small-scale open-source VLMs for low-cost deployment with just a few GPU-hours of fine-tuning. We further develop GUMI (GUI Manipulation Interface), which extends the same semantic action space to GUI-based demonstration collection, allowing humans and agents to "play" robots across embodiments without specialized teleoperation hardware. Extensive experiments show that Show-Harness-equipped VLM agents generalize robustly across tasks, embodiments, and environments, outperforming representative agentic and VLA paradigms. These results suggest that the right interface can unlock substantial embodied capability from foundation VLMs, without requiring additional model capacity or costly embodiment-specific pretraining.