Think3D : Penser avec l'espace pour le raisonnement spatial

papers.abstract

Comprendre et raisonner sur le monde physique nécessite une intelligence spatiale : la capacité d'interpréter la géométrie, la perspective et les relations spatiales au-delà de la perception 2D. Si les grands modèles visuels (VLM) récents excellent dans la compréhension visuelle, ils restent fondamentalement des percepteurs 2D et peinent avec un véritable raisonnement 3D. Nous présentons Think3D, un cadre qui permet aux agents VLM de raisonner avec l'espace 3D. En exploitant des modèles de reconstruction 3D qui restaurent les nuages de points et les poses de caméra à partir d'images ou de vidéos, Think3D permet à l'agent de manipuler activement l'espace via des opérations basées sur la caméra et une commutation entre vues égocentriques et globales, transformant le raisonnement spatial en un processus interactif de chaîne de pensée 3D. Sans entraînement supplémentaire, Think3D améliore significativement les performances de raisonnement spatial de modèles avancés comme GPT-4.1 et Gemini 2.5 Pro, avec des gains moyens de +7,8 % sur BLINK Multi-view et MindCube, et de +4,7 % sur VSI-Bench. Nous montrons en outre que les modèles plus petits, qui peinent avec l'exploration spatiale, bénéficient grandement d'une politique d'apprentissage par renforcement permettant au modèle de sélectionner des points de vue et des opérations informatifs. Avec l'apprentissage par renforcement, le bénéfice de l'utilisation d'outils passe de +0,7 % à +6,8 %. Nos résultats démontrent que l'exploration spatiale augmentée par des outils, sans entraînement, est une voie viable vers un raisonnement 3D plus flexible et humanoïde pour les agents multimodaux, établissant une nouvelle dimension de l'intelligence multimodale. Le code et les poids sont disponibles à l'adresse https://github.com/zhangzaibin/spagent.

English

Understanding and reasoning about the physical world requires spatial intelligence: the ability to interpret geometry, perspective, and spatial relations beyond 2D perception. While recent vision large models (VLMs) excel at visual understanding, they remain fundamentally 2D perceivers and struggle with genuine 3D reasoning. We introduce Think3D, a framework that enables VLM agents to think with 3D space. By leveraging 3D reconstruction models that recover point clouds and camera poses from images or videos, Think3D allows the agent to actively manipulate space through camera-based operations and ego/global-view switching, transforming spatial reasoning into an interactive 3D chain-of-thought process. Without additional training, Think3D significantly improves the spatial reasoning performance of advanced models such as GPT-4.1 and Gemini 2.5 Pro, yielding average gains of +7.8% on BLINK Multi-view and MindCube, and +4.7% on VSI-Bench. We further show that smaller models, which struggle with spatial exploration, benefit significantly from a reinforcement learning policy that enables the model to select informative viewpoints and operations. With RL, the benefit from tool usage increases from +0.7% to +6.8%. Our findings demonstrate that training-free, tool-augmented spatial exploration is a viable path toward more flexible and human-like 3D reasoning in multimodal agents, establishing a new dimension of multimodal intelligence. Code and weights are released at https://github.com/zhangzaibin/spagent.

Think3D : Penser avec l'espace pour le raisonnement spatial

Think3D: Thinking with Space for Spatial Reasoning

papers.abstract

Support