SpaceTools: Ragionamento Spaziale Aumentato da Strumenti tramite Doppio RL Interattivo
SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
December 3, 2025
Autori: Siyi Chen, Mikaela Angelina Uy, Chan Hee Song, Faisal Ladhak, Adithyavairavan Murali, Qing Qu, Stan Birchfield, Valts Blukis, Jonathan Tremblay
cs.AI
Abstract
I modelli linguistici visivi (VLMs) dimostrano una forte comprensione visiva qualitativa, ma faticano nel ragionamento spaziale metricamente preciso richiesto per applicazioni embodied. Il paradigma agentico promette che i VLMs possano utilizzare un'ampia varietà di strumenti in grado di potenziare queste capacità, come stimatori di profondità, modelli di segmentazione e stimatori di posa. Tuttavia, rimane una sfida aperta come realizzare questa visione senza fare affidamento esclusivamente su strategie di prompt manualmente costruite o imporre pipeline di strumenti fisse e predefinite che limitano la capacità dei VLMs di scoprire pattern ottimali di utilizzo degli strumenti. Il Reinforcement Learning potrebbe colmare questa lacuna, ma finora è stato limitato al ragionamento con un singolo strumento visivo a causa del vasto spazio di ricerca nel ragionamento multi-strumento. Introduciamo il Double Interactive Reinforcement Learning (DIRL), un framework di addestramento a due fasi in cui i VLMs apprendono a coordinare più strumenti attraverso l'esplorazione interattiva e il feedback. Nella fase di insegnamento, combiniamo dimostrazioni da uno specialista di singolo strumento addestrato via RL interattivo con tracce da un modello all'avanguardia che utilizza tutti gli strumenti. Nella fase di esplorazione, il modello affina ulteriormente il coordinamento multi-strumento attraverso il RL continuato. Il nostro modello, SpaceTools, con capacità di ragionamento spaziale potenziato da strumenti, raggiunge prestazioni state-of-the-art su benchmark di comprensione spaziale (RoboSpatial-Home, BLINK, BOP-ASK) e dimostra un'affidabile manipuzione nel mondo reale utilizzando un robot a 7 gradi di libertà come strumento. DIRL fornisce miglioramenti sostanziali rispetto ai baseline vanilla SFT (+12% su RoboSpatial) e RL (+16% su RoboSpatial). Pagina del progetto: https://spacetools.github.io/.
English
Vision Language Models (VLMs) demonstrate strong qualitative visual understanding, but struggle with metrically precise spatial reasoning required for embodied applications. The agentic paradigm promises that VLMs can use a wide variety of tools that could augment these capabilities, such as depth estimators, segmentation models, and pose estimators. Yet it remains an open challenge how to realize this vision without solely relying on handcrafted prompting strategies or enforcing fixed, predefined tool pipelines that limit VLMs' ability to discover optimal tool-use patterns. Reinforcement Learning could overcome this gap, but has so far been limited to reasoning with a single visual tool due to the large search space in multi-tool reasoning. We introduce Double Interactive Reinforcement Learning (DIRL), a two-phase training framework where VLMs learn to coordinate multiple tools through interactive exploration and feedback. In the teaching phase, we combine demonstrations from a single tool specialist trained via interactive RL with traces from a frontier model using all tools. In the exploration phase, the model further refines multi-tool coordination through continued RL. Our model, SpaceTools, with tool-augmented spatial reasoning ability, achieves state-of-the-art performance on spatial understanding benchmarks (RoboSpatial-Home, BLINK, BOP-ASK) and demonstrates reliable real-world manipulation using a 7-DOF robot as a tool. DIRL provides substantial improvements over the vanilla SFT (+12% on RoboSpatial) and RL (+16% on RoboSpatial) baselines. Project page: https://spacetools.github.io/.