SpatialCLI：空間ツールを用いた推論の学習、そしてツールなしでの推論

要旨

視覚言語モデル（VLM）は、身体化エージェントにおいて、視覚入力を解釈し、空間関係を推論し、その推論に基づいてタスクレベルの意思決定を行うためにますます利用されている。しかし、根本的な能力のミスマッチが依然として存在する。すなわち、汎用VLMはタスク全体については推論できるものの、成功を左右する視覚的詳細を見落とすことが多く、一方で専門的な視覚モデルはそのような詳細を捉えられるものの、それをタスクレベルの意思決定に変換することができない。本研究では、VLMに空間ツールを用いた推論を教え、それらが提供する専門的な知覚能力を段階的に内面化させるフレームワークであるSpatialCLIを提案する。SpatialCLIは3つの段階で進行する。(1) Callは、専門的な視覚モデルを空間ツールとして公開し、VLMの知覚を拡張する。(2) Learnは、コールドスタートSFTとエージェント強化学習を用いてツール使用を改善する。(3) Internalizeは、成功したツール使用の軌跡を言語化し、専門的な知覚能力を内面化する。さらに、位置特定、セグメンテーション、深度、姿勢にわたる合成知覚のための516例のベンチマークであるSpatialCLI-Benchを導入する。MindCubeにおいて、SpatialCLIはQwen3-VL-8B-Instructをツール使用時に29.3%から84.6%へと向上させ、ツールを使用するGPT-5.6 Sol（72.1%）を上回る一方、内面化後はツールなしでも73.8%を維持する。

English

Vision-language models (VLMs) are increasingly used in embodied agents to interpret visual inputs, reason about spatial relationships, and make task-level decisions based on that reasoning. However, a fundamental capability mismatch remains: general VLMs can reason about the overall task but often miss the visual details that determine success, while specialist vision models can capture those details but cannot translate them into task-level decisions. In this work, we propose SpatialCLI, a framework that teaches VLMs to reason with spatial tools and progressively internalize the specialist perceptual capabilities they provide. SpatialCLI proceeds in three stages: (1) Call exposes specialist vision models as spatial tools to augment the VLM's perception; (2) Learn uses Cold-Start SFT and agentic RL to improve tool use; and (3) Internalize verbalizes successful tool-use trajectories to internalize specialist perceptual capabilities. We further introduce SpatialCLI-Bench, a 516-example benchmark for compositional perception across localization, segmentation, depth, and pose. On MindCube, SpatialCLI raises Qwen3-VL-8B-Instruct from 29.3% to 84.6% with tools, surpassing GPT-5.6 Sol with tools (72.1%), while retaining 73.8% without tools after internalization.