Думай в 3D: Пространственное мышление, основанное на геометрическом воображении, при ограниченном обзоре

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

Авторы: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

Аннотация

Хотя последние достижения в моделях обработки зрения и языка (VLMs) привели к значительному прогрессу в широком спектре мультимодальных задач, понимание трехмерных пространственных отношений на основе ограниченного числа изображений остается серьезной проблемой. Предыдущие методы рассуждения обычно полагались исключительно на текстовые данные (например, топологические когнитивные карты) или на двумерные визуальные подсказки. Однако их ограниченная способность к представлению данных снижает производительность в задачах, требующих трехмерного пространственного воображения. Для решения этой проблемы мы предлагаем 3DThinker — фреймворк, который эффективно использует богатую геометрическую информацию, заложенную в изображениях, в процессе рассуждения, подобно тому, как это делает человек. Наш фреймворк впервые позволяет осуществлять трехмерное ментальное моделирование в процессе рассуждения без использования каких-либо предварительных 3D-данных и не требует явно размеченных 3D-данных для обучения. В частности, наше обучение состоит из двух этапов. Сначала мы проводим обучение с учителем для согласования 3D-латентного пространства, генерируемого VLM в процессе рассуждения, с латентным пространством 3D-фундаментальной модели (например, VGGT). Затем мы оптимизируем весь процесс рассуждения исключительно на основе сигналов результата, тем самым улучшая лежащее в основе трехмерное ментальное моделирование. Многочисленные эксперименты на различных бенчмарках показывают, что 3DThinker стабильно превосходит сильные базовые модели и предлагает новый подход к объединению трехмерных представлений в мультимодальное рассуждение. Наш код будет доступен по адресу https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.