Piensa en 3D: Razonamiento Espacial Fundamentado en la Imaginación Geométrica a partir de Vistas Limitadas

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

Autores: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

Resumen

Aunque los avances recientes en los modelos de visión-lenguaje (VLMs) han logrado un progreso notable en una amplia gama de tareas multimodales, comprender las relaciones espaciales en 3D a partir de vistas limitadas sigue siendo un desafío significativo. Los métodos de razonamiento anteriores generalmente dependen de texto puro (por ejemplo, mapas cognitivos topológicos) o de indicios visuales en 2D. Sin embargo, su capacidad representativa limitada dificulta el rendimiento en tareas específicas que requieren imaginación espacial en 3D. Para abordar esta limitación, proponemos 3DThinker, un marco que puede explotar eficazmente la rica información geométrica incrustada en las imágenes mientras razona, como lo hacen los humanos. Nuestro marco es el primero en permitir la mentalización en 3D durante el razonamiento sin ninguna entrada previa en 3D, y no depende de datos en 3D explícitamente etiquetados para el entrenamiento. Específicamente, nuestro entrenamiento consta de dos etapas. Primero, realizamos un entrenamiento supervisado para alinear el latente en 3D generado por el VLM durante el razonamiento con el de un modelo base en 3D (por ejemplo, VGGT). Luego, optimizamos toda la trayectoria de razonamiento únicamente basándonos en señales de resultado, refinando así la mentalización en 3D subyacente. Experimentos extensos en múltiples benchmarks muestran que 3DThinker supera consistentemente a las líneas base sólidas y ofrece una nueva perspectiva hacia la unificación de representaciones en 3D en el razonamiento multimodal. Nuestro código estará disponible en https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.