SpaceTools: Raciocínio Espacial Aumentado por Ferramentas via RL Interativo Duplo
SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
December 3, 2025
Autores: Siyi Chen, Mikaela Angelina Uy, Chan Hee Song, Faisal Ladhak, Adithyavairavan Murali, Qing Qu, Stan Birchfield, Valts Blukis, Jonathan Tremblay
cs.AI
Resumo
Os Modelos de Linguagem Visual (VLMs) demonstram forte compreensão visual qualitativa, mas lutam com o raciocínio espacial metricamente preciso necessário para aplicações corporificadas. O paradigma de agência promete que os VLMs podem usar uma ampla variedade de ferramentas que poderiam aumentar essas capacidades, como estimadores de profundidade, modelos de segmentação e estimadores de pose. No entanto, continua sendo um desafio em aberto como realizar essa visão sem depender exclusivamente de estratégias de *prompting* manuais ou impor *pipelines* de ferramentas fixas e predefinidas que limitam a capacidade dos VLMs de descobrir padrões ótimos de uso de ferramentas. O Aprendizado por Reforço poderia superar essa lacuna, mas até agora tem sido limitado ao raciocínio com uma única ferramenta visual devido ao grande espaço de busca no raciocínio com múltiplas ferramentas. Apresentamos o Aprendizado por Reforço Duplamente Interativo (DIRL), uma estrutura de treinamento em duas fases onde os VLMs aprendem a coordenar múltiplas ferramentas por meio de exploração e *feedback* interativos. Na fase de ensino, combinamos demonstrações de um especialista em ferramenta únicas treinado via RL interativo com rastros de um modelo de fronteira usando todas as ferramentas. Na fase de exploração, o modelo refina ainda mais a coordenação de múltiplas ferramentas através de RL contínuo. Nosso modelo, SpaceTools, com capacidade de raciocínio espacial aumentada por ferramentas, alcança desempenho de ponta em benchmarks de compreensão espacial (RoboSpatial-Home, BLINK, BOP-ASK) e demonstra manipulação confiável no mundo real usando um robô de 7 graus de liberdade como ferramenta. O DIRL fornece melhorias substanciais em relação às linhas de base de SFT padrão (+12% no RoboSpatial) e RL (+16% no RoboSpatial). Página do projeto: https://spacetools.github.io/.
English
Vision Language Models (VLMs) demonstrate strong qualitative visual understanding, but struggle with metrically precise spatial reasoning required for embodied applications. The agentic paradigm promises that VLMs can use a wide variety of tools that could augment these capabilities, such as depth estimators, segmentation models, and pose estimators. Yet it remains an open challenge how to realize this vision without solely relying on handcrafted prompting strategies or enforcing fixed, predefined tool pipelines that limit VLMs' ability to discover optimal tool-use patterns. Reinforcement Learning could overcome this gap, but has so far been limited to reasoning with a single visual tool due to the large search space in multi-tool reasoning. We introduce Double Interactive Reinforcement Learning (DIRL), a two-phase training framework where VLMs learn to coordinate multiple tools through interactive exploration and feedback. In the teaching phase, we combine demonstrations from a single tool specialist trained via interactive RL with traces from a frontier model using all tools. In the exploration phase, the model further refines multi-tool coordination through continued RL. Our model, SpaceTools, with tool-augmented spatial reasoning ability, achieves state-of-the-art performance on spatial understanding benchmarks (RoboSpatial-Home, BLINK, BOP-ASK) and demonstrates reliable real-world manipulation using a 7-DOF robot as a tool. DIRL provides substantial improvements over the vanilla SFT (+12% on RoboSpatial) and RL (+16% on RoboSpatial) baselines. Project page: https://spacetools.github.io/.