Think3D: Pensar con el Espacio para el Razonamiento Espacial

Think3D: Thinking with Space for Spatial Reasoning

January 19, 2026

Autores: Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Zhenfei Yin, Lijun Wang, Huchuan Lu

cs.AI

Resumen

Comprender y razonar sobre el mundo físico requiere inteligencia espacial: la capacidad de interpretar geometría, perspectiva y relaciones espaciales más allá de la percepción 2D. Si bien los grandes modelos de visión (VLMs) recientes sobresalen en comprensión visual, siguen siendo fundamentalmente perceptores 2D y tienen dificultades con el razonamiento 3D genuino. Presentamos Think3D, un marco que permite a los agentes VLM pensar con el espacio 3D. Al aprovechar modelos de reconstrucción 3D que recuperan nubes de puntos y poses de cámara a partir de imágenes o videos, Think3D permite al agente manipular activamente el espacio mediante operaciones basadas en cámara y cambio de vista ego/global, transformando el razonamiento espacial en un proceso interactivo de cadena de pensamiento 3D. Sin entrenamiento adicional, Think3D mejora significativamente el rendimiento de razonamiento espacial de modelos avanzados como GPT-4.1 y Gemini 2.5 Pro, logrando ganancias promedio de +7.8% en BLINK Multi-view y MindCube, y +4.7% en VSI-Bench. Además, mostramos que los modelos más pequeños, que luchan con la exploración espacial, se benefician significativamente de una política de aprendizaje por refuerzo que permite al modelo seleccionar puntos de vista y operaciones informativos. Con AR, el beneficio del uso de herramientas aumenta de +0.7% a +6.8%. Nuestros hallazgos demuestran que la exploración espacial aumentada con herramientas y sin entrenamiento es un camino viable hacia un razonamiento 3D más flexible y similar al humano en agentes multimodales, estableciendo una nueva dimensión de la inteligencia multimodal. El código y los pesos se publican en https://github.com/zhangzaibin/spagent.

English

Understanding and reasoning about the physical world requires spatial intelligence: the ability to interpret geometry, perspective, and spatial relations beyond 2D perception. While recent vision large models (VLMs) excel at visual understanding, they remain fundamentally 2D perceivers and struggle with genuine 3D reasoning. We introduce Think3D, a framework that enables VLM agents to think with 3D space. By leveraging 3D reconstruction models that recover point clouds and camera poses from images or videos, Think3D allows the agent to actively manipulate space through camera-based operations and ego/global-view switching, transforming spatial reasoning into an interactive 3D chain-of-thought process. Without additional training, Think3D significantly improves the spatial reasoning performance of advanced models such as GPT-4.1 and Gemini 2.5 Pro, yielding average gains of +7.8% on BLINK Multi-view and MindCube, and +4.7% on VSI-Bench. We further show that smaller models, which struggle with spatial exploration, benefit significantly from a reinforcement learning policy that enables the model to select informative viewpoints and operations. With RL, the benefit from tool usage increases from +0.7% to +6.8%. Our findings demonstrate that training-free, tool-augmented spatial exploration is a viable path toward more flexible and human-like 3D reasoning in multimodal agents, establishing a new dimension of multimodal intelligence. Code and weights are released at https://github.com/zhangzaibin/spagent.