SpaceTools: Инструментальное пространственное мышление через двойное интерактивное обучение с подкреплением
SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
December 3, 2025
Авторы: Siyi Chen, Mikaela Angelina Uy, Chan Hee Song, Faisal Ladhak, Adithyavairavan Murali, Qing Qu, Stan Birchfield, Valts Blukis, Jonathan Tremblay
cs.AI
Аннотация
Модели «язык-зрение» (VLMs) демонстрируют качественное визуальное понимание, но испытывают трудности с метрически точным пространственным мышлением, необходимым для воплощенных приложений. Агентская парадигма предполагает, что VLMs могут использовать широкий спектр инструментов, способных усилить эти возможности, таких как оценщики глубины, модели сегментации и оценщики поз. Однако остается открытой проблемой, как реализовать эту идею, не полагаясь исключительно на ручные стратегии промптинга или жесткие, предопределенные конвейеры инструментов, которые ограничивают способность VLMs находить оптимальные паттерны их использования. Обучение с подкреплением могло бы преодолеть этот разрыв, но до сих пор было ограничено работой с одним визуальным инструментом из-за большого пространства поиска при рассуждениях с несколькими инструментами. Мы представляем Двойное интерактивное обучение с подкреплением (DIRL) — двухфазную框架 обучения, в которой VLMs учатся координировать несколько инструментов через интерактивное исследование и обратную связь. На фазе обучения мы комбинируем демонстрации от специалиста по одному инструменту, обученного с помощью интерактивного RL, с трассировками от фронтирной модели, использующей все инструменты. На фазе исследования модель дополнительно совершенствует координацию нескольких инструментов с помощью продолженного RL. Наша модель SpaceTools, обладающая расширенной инструментами способностью к пространственному reasoning, достигает наилучших результатов на бенчмарках пространственного понимания (RoboSpatial-Home, BLINK, BOP-ASK) и демонстрирует надежное манипулирование в реальном мире с использованием 7-степенного робота в качестве инструмента. DIRL обеспечивает существенное улучшение по сравнению с базовыми методами SFT (+12% на RoboSpatial) и RL (+16% на RoboSpatial). Страница проекта: https://spacetools.github.io/.
English
Vision Language Models (VLMs) demonstrate strong qualitative visual understanding, but struggle with metrically precise spatial reasoning required for embodied applications. The agentic paradigm promises that VLMs can use a wide variety of tools that could augment these capabilities, such as depth estimators, segmentation models, and pose estimators. Yet it remains an open challenge how to realize this vision without solely relying on handcrafted prompting strategies or enforcing fixed, predefined tool pipelines that limit VLMs' ability to discover optimal tool-use patterns. Reinforcement Learning could overcome this gap, but has so far been limited to reasoning with a single visual tool due to the large search space in multi-tool reasoning. We introduce Double Interactive Reinforcement Learning (DIRL), a two-phase training framework where VLMs learn to coordinate multiple tools through interactive exploration and feedback. In the teaching phase, we combine demonstrations from a single tool specialist trained via interactive RL with traces from a frontier model using all tools. In the exploration phase, the model further refines multi-tool coordination through continued RL. Our model, SpaceTools, with tool-augmented spatial reasoning ability, achieves state-of-the-art performance on spatial understanding benchmarks (RoboSpatial-Home, BLINK, BOP-ASK) and demonstrates reliable real-world manipulation using a 7-DOF robot as a tool. DIRL provides substantial improvements over the vanilla SFT (+12% on RoboSpatial) and RL (+16% on RoboSpatial) baselines. Project page: https://spacetools.github.io/.