Think3D: Пространственное мышление для пространственного рассуждения

Think3D: Thinking with Space for Spatial Reasoning

January 19, 2026

Авторы: Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Zhenfei Yin, Lijun Wang, Huchuan Lu

cs.AI

Аннотация

Понимание и рассуждение о физическом мире требуют пространственного интеллекта: способности интерпретировать геометрию, перспективу и пространственные отношения, выходящие за рамки 2D-восприятия. Хотя современные большие языково-визуальные модели (BJVM) преуспели в визуальном понимании, они остаются по своей сути 2D-наблюдателями и испытывают трудности с подлинным 3D-мышлением. Мы представляем Think3D — фреймворк, который позволяет агентам на основе BJVM мыслить в терминах 3D-пространства. Используя модели 3D-реконструкции, восстанавливающие облака точек и позы камер из изображений или видео, Think3D позволяет агенту активно манипулировать пространством с помощью операций на основе камеры и переключения между эгоцентрическим и глобальным видом, преобразуя пространственные рассуждения в интерактивный процесс 3D-цепочек мыслей. Без дополнительного обучения Think3D значительно улучшает производительность пространственных рассуждений передовых моделей, таких как GPT-4.1 и Gemini 2.5 Pro, обеспечивая средний прирост +7,8% на BLINK Multi-view и MindCube и +4,7% на VSI-Bench. Мы также показываем, что меньшие модели, которые испытывают трудности с пространственным исследованием, значительно выигрывают от политики обучения с подкреплением, позволяющей модели выбирать информативные точки обзора и операции. С применением RL польза от использования инструментов возрастает с +0,7% до +6,8%. Наши результаты демонстрируют, что не требующее обучения, инструментально-расширенное пространственное исследование является жизнеспособным путем к более гибкому и человеко-подобному 3D-мышлению в мультимодальных агентах, устанавливая новое измерение мультимодального интеллекта. Код и веса опубликованы по адресу https://github.com/zhangzaibin/spagent.

English

Understanding and reasoning about the physical world requires spatial intelligence: the ability to interpret geometry, perspective, and spatial relations beyond 2D perception. While recent vision large models (VLMs) excel at visual understanding, they remain fundamentally 2D perceivers and struggle with genuine 3D reasoning. We introduce Think3D, a framework that enables VLM agents to think with 3D space. By leveraging 3D reconstruction models that recover point clouds and camera poses from images or videos, Think3D allows the agent to actively manipulate space through camera-based operations and ego/global-view switching, transforming spatial reasoning into an interactive 3D chain-of-thought process. Without additional training, Think3D significantly improves the spatial reasoning performance of advanced models such as GPT-4.1 and Gemini 2.5 Pro, yielding average gains of +7.8% on BLINK Multi-view and MindCube, and +4.7% on VSI-Bench. We further show that smaller models, which struggle with spatial exploration, benefit significantly from a reinforcement learning policy that enables the model to select informative viewpoints and operations. With RL, the benefit from tool usage increases from +0.7% to +6.8%. Our findings demonstrate that training-free, tool-augmented spatial exploration is a viable path toward more flexible and human-like 3D reasoning in multimodal agents, establishing a new dimension of multimodal intelligence. Code and weights are released at https://github.com/zhangzaibin/spagent.