Pense em 3D: Imaginação Geométrica e Raciocínio Espacial Fundamentado a partir de Visões Limitadas

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

Autores: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

Resumo

Embora os avanços recentes em modelos de visão e linguagem (VLMs) tenham alcançado progressos notáveis em uma ampla gama de tarefas multimodais, a compreensão de relações espaciais 3D a partir de visões limitadas continua sendo um desafio significativo. Métodos de raciocínio anteriores geralmente dependem de texto puro (por exemplo, mapas cognitivos topológicos) ou de pistas visuais 2D. No entanto, sua capacidade representativa limitada prejudica o desempenho em tarefas específicas que exigem imaginação espacial 3D. Para superar essa limitação, propomos o 3DThinker, um framework que pode explorar efetivamente as ricas informações geométricas embutidas nas imagens durante o raciocínio, assim como os humanos fazem. Nosso framework é o primeiro a permitir o mentalização 3D durante o raciocínio sem qualquer entrada prévia 3D, e não depende de dados 3D explicitamente rotulados para treinamento. Especificamente, nosso treinamento consiste em duas etapas. Primeiro, realizamos um treinamento supervisionado para alinhar o latente 3D gerado pelo VLM durante o raciocínio com o de um modelo de fundação 3D (por exemplo, VGGT). Em seguida, otimizamos toda a trajetória de raciocínio com base apenas em sinais de resultado, refinando assim a mentalização 3D subjacente. Experimentos extensos em vários benchmarks mostram que o 3DThinker supera consistentemente as linhas de base fortes e oferece uma nova perspectiva para unificar representações 3D no raciocínio multimodal. Nosso código estará disponível em https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.