Denk in 3D: Geometrische Verbeelding als Basis voor Ruimtelijk Redeneren vanuit Beperkte Perspectieven

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

Auteurs: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

Samenvatting

Hoewel recente vooruitgang in visie-taalmodellen (VLMs) opmerkelijke vooruitgang heeft geboekt in een breed scala aan multimodale taken, blijft het begrijpen van 3D-ruimtelijke relaties vanuit beperkte gezichtspunten een aanzienlijke uitdaging. Eerdere redeneermethoden vertrouwen doorgaans op pure tekst (bijvoorbeeld topologische cognitieve kaarten) of op 2D-visuele aanwijzingen. Hun beperkte representatievermogen belemmert echter de prestaties bij specifieke taken die 3D-ruimtelijke verbeelding vereisen. Om deze beperking aan te pakken, stellen we 3DThinker voor, een raamwerk dat effectief gebruikmaakt van de rijke geometrische informatie die in afbeeldingen is ingebed tijdens het redeneren, zoals mensen dat doen. Ons raamwerk is het eerste dat 3D-mentaling mogelijk maakt tijdens het redeneren zonder enige 3D-voorafgaande input, en het vertrouwt niet op expliciet gelabelde 3D-gegevens voor training. Specifiek bestaat onze training uit twee fasen. Eerst voeren we gesuperviseerde training uit om de 3D-latente gegenereerd door VLM tijdens het redeneren af te stemmen op die van een 3D-fundamentmodel (bijvoorbeeld VGGT). Vervolgens optimaliseren we het gehele redeneertraject uitsluitend op basis van uitkomstsignalen, waardoor de onderliggende 3D-mentaling wordt verfijnd. Uitgebreide experimenten over meerdere benchmarks tonen aan dat 3DThinker consequent sterke basislijnen overtreft en een nieuw perspectief biedt op het integreren van 3D-representaties in multimodaal redeneren. Onze code zal beschikbaar zijn op https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.