SpatialCLI: 공간 도구를 활용한 추론 학습, 이후 도구 없이 추론하기

초록

시각-언어 모델(VLM)은 체화된 에이전트에서 시각적 입력을 해석하고, 공간 관계에 대해 추론하며, 그 추론에 기반하여 작업 수준의 결정을 내리는 데 점점 더 많이 사용되고 있다. 그러나 근본적인 능력 불일치가 여전히 존재한다. 일반 VLM은 전반적인 작업에 대해 추론할 수 있지만 성공을 결정짓는 시각적 세부 사항을 종종 놓치는 반면, 전문 시각 모델은 그러한 세부 사항을 포착할 수 있지만 이를 작업 수준의 결정으로 변환하지 못한다. 본 연구에서는 VLM이 공간 도구를 사용하여 추론하고, 이 도구가 제공하는 전문 지각 능력을 점진적으로 내면화하도록 가르치는 프레임워크인 SpatialCLI를 제안한다. SpatialCLI는 세 단계로 진행된다. (1) 호출(Call) 단계는 전문 시각 모델을 공간 도구로 노출시켜 VLM의 지각을 강화한다. (2) 학습(Learn) 단계는 Cold-Start SFT와 에이전트 강화학습을 사용하여 도구 사용을 개선한다. (3) 내면화(Internalize) 단계는 성공적인 도구 사용 궤적을 언어화하여 전문 지각 능력을 내면화한다. 또한 위치 파악, 분할, 깊이, 자세에 걸친 구성적 지각을 위한 516개 예제로 구성된 벤치마크인 SpatialCLI-Bench를 소개한다. MindCube에서 SpatialCLI는 Qwen3-VL-8B-Instruct의 성능을 도구 사용 시 29.3%에서 84.6%로 향상시켜 도구를 사용하는 GPT-5.6 Sol(72.1%)을 능가했으며, 내면화 후에는 도구 없이도 73.8%의 성능을 유지했다.

English

Vision-language models (VLMs) are increasingly used in embodied agents to interpret visual inputs, reason about spatial relationships, and make task-level decisions based on that reasoning. However, a fundamental capability mismatch remains: general VLMs can reason about the overall task but often miss the visual details that determine success, while specialist vision models can capture those details but cannot translate them into task-level decisions. In this work, we propose SpatialCLI, a framework that teaches VLMs to reason with spatial tools and progressively internalize the specialist perceptual capabilities they provide. SpatialCLI proceeds in three stages: (1) Call exposes specialist vision models as spatial tools to augment the VLM's perception; (2) Learn uses Cold-Start SFT and agentic RL to improve tool use; and (3) Internalize verbalizes successful tool-use trajectories to internalize specialist perceptual capabilities. We further introduce SpatialCLI-Bench, a 516-example benchmark for compositional perception across localization, segmentation, depth, and pose. On MindCube, SpatialCLI raises Qwen3-VL-8B-Instruct from 29.3% to 84.6% with tools, surpassing GPT-5.6 Sol with tools (72.1%), while retaining 73.8% without tools after internalization.