Denken in 3D: Räumliches Denken durch geometrische Vorstellungskraft basierend auf begrenzten Ansichten

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

October 21, 2025

papers.authors: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

cs.AI

papers.abstract

Obwohl jüngste Fortschritte in Vision-Sprach-Modellen (VLMs) bemerkenswerte Fortschritte in einer Vielzahl von multimodalen Aufgaben erzielt haben, bleibt das Verständnis von 3D-Raumbeziehungen aus begrenzten Ansichten eine erhebliche Herausforderung. Bisherige Methoden zur Schlussfolgerung stützen sich typischerweise auf reinen Text (z. B. topologische kognitive Karten) oder auf 2D-visuelle Hinweise. Ihre begrenzte Darstellungskapazität beeinträchtigt jedoch die Leistung bei spezifischen Aufgaben, die 3D-räumliche Vorstellungskraft erfordern. Um diese Einschränkung zu überwinden, schlagen wir 3DThinker vor, ein Framework, das effektiv die reichhaltigen geometrischen Informationen, die in Bildern enthalten sind, während des Schlussfolgerns nutzt, ähnlich wie es Menschen tun. Unser Framework ist das erste, das 3D-Mentaling während des Schlussfolgerns ohne jegliche 3D-Vorinformationen ermöglicht und sich nicht auf explizit beschriftete 3D-Daten für das Training verlässt. Konkret besteht unser Training aus zwei Phasen. Zuerst führen wir ein überwachtes Training durch, um das 3D-Latent, das vom VLM während des Schlussfolgerns erzeugt wird, mit dem eines 3D-Foundation-Modells (z. B. VGGT) abzugleichen. Anschließend optimieren wir den gesamten Schlussfolgerungsprozess ausschließlich basierend auf Ergebnissignalen, wodurch das zugrunde liegende 3D-Mentaling verfeinert wird. Umfangreiche Experimente über mehrere Benchmarks hinweg zeigen, dass 3DThinker durchweg starke Baselines übertrifft und eine neue Perspektive zur Vereinheitlichung von 3D-Darstellungen in multimodales Schlussfolgern bietet. Unser Code wird unter https://github.com/zhangquanchen/3DThinker verfügbar sein.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.