Pensare in 3D: Immaginazione Geometrica e Ragionamento Spaziale Basato su Viste Limitate

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

Autori: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

Abstract

Sebbene i recenti progressi nei modelli visione-linguaggio (VLMs) abbiano raggiunto risultati notevoli in un'ampia gamma di attività multimodali, la comprensione delle relazioni spaziali 3D a partire da viste limitate rimane una sfida significativa. I metodi di ragionamento precedenti si basano tipicamente su testo puro (ad esempio, mappe cognitive topologiche) o su indizi visivi 2D. Tuttavia, la loro capacità rappresentativa limitata ostacola le prestazioni in compiti specifici che richiedono immaginazione spaziale 3D. Per affrontare questa limitazione, proponiamo 3DThinker, un framework che sfrutta efficacemente le ricche informazioni geometriche incorporate nelle immagini durante il ragionamento, come fanno gli esseri umani. Il nostro framework è il primo a consentire il mentaling 3D durante il ragionamento senza alcun input 3D preliminare e non si basa su dati 3D esplicitamente etichettati per l'addestramento. Nello specifico, il nostro addestramento si compone di due fasi. In primo luogo, eseguiamo un addestramento supervisionato per allineare il latente 3D generato dal VLM durante il ragionamento con quello di un modello di base 3D (ad esempio, VGGT). Successivamente, ottimizziamo l'intera traiettoria di ragionamento esclusivamente in base ai segnali di risultato, perfezionando così il sottostante mentaling 3D. Esperimenti estesi su più benchmark dimostrano che 3DThinker supera costantemente i forti baseline e offre una nuova prospettiva verso l'unificazione delle rappresentazioni 3D nel ragionamento multimodale. Il nostro codice sarà disponibile all'indirizzo https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.