Penser en 3D : Raisonnement spatial fondé sur l'imagination géométrique à partir de vues limitées

papers.abstract

Bien que les récents progrès des modèles vision-langage (VLMs) aient permis des avancées remarquables dans un large éventail de tâches multimodales, la compréhension des relations spatiales en 3D à partir de vues limitées reste un défi majeur. Les méthodes de raisonnement précédentes reposent généralement sur du texte pur (par exemple, des cartes cognitives topologiques) ou sur des indices visuels en 2D. Cependant, leur capacité de représentation limitée entrave les performances dans des tâches spécifiques nécessitant une imagination spatiale en 3D. Pour pallier cette limitation, nous proposons 3DThinker, un cadre capable d'exploiter efficacement les riches informations géométriques intégrées dans les images tout en raisonnant, comme le font les humains. Notre cadre est le premier à permettre un raisonnement mental en 3D sans aucune entrée préalable en 3D, et il ne repose pas sur des données 3D explicitement étiquetées pour l'entraînement. Plus précisément, notre entraînement se déroule en deux étapes. Tout d'abord, nous effectuons un entraînement supervisé pour aligner la latence 3D générée par le VLM lors du raisonnement avec celle d'un modèle de fondation 3D (par exemple, VGGT). Ensuite, nous optimisons l'ensemble de la trajectoire de raisonnement uniquement basée sur des signaux de résultat, affinant ainsi le raisonnement mental sous-jacent en 3D. Des expériences approfondies sur plusieurs benchmarks montrent que 3DThinker surpasse systématiquement les bases de référence solides et offre une nouvelle perspective pour unifier les représentations 3D dans le raisonnement multimodal. Notre code sera disponible à l'adresse https://github.com/zhangquanchen/3DThinker.

English

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.

Penser en 3D : Raisonnement spatial fondé sur l'imagination géométrique à partir de vues limitées

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

papers.abstract

Support