Libérer le raisonnement spatial dans les modèles de langage multimodaux de grande taille grâce au raisonnement guidé par la représentation textuelle
Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning
March 24, 2026
Auteurs: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu
cs.AI
Résumé
Les modèles de langage multimodaux (MLLM) existants éprouvent des difficultés avec le raisonnement spatial 3D, car ils ne parviennent pas à construire des abstractions structurées de l'environnement 3D représenté dans les vidéos en entrée. Pour combler cette lacune, en nous inspirant des théories cognitives du raisonnement spatial allocentrique, nous étudions comment permettre aux MLLM de modéliser et de raisonner sur des représentations spatiales textuelles de la vidéo. Plus précisément, nous présentons TRACE (Textual Representation of Allocentric Context from Egocentric Video), une méthode d'incitation qui amène les MLLM à générer des représentations textuelles d'environnements 3D comme traces de raisonnement intermédiaires pour une réponse plus précise aux questions spatiales. TRACE encode le méta-contexte, les trajectoires de la caméra et les entités détaillées des objets pour prendre en charge un raisonnement spatial structuré sur les vidéos égocentriques. Des expériences approfondies sur VSI-Bench et OST-Bench démontrent que TRACE apporte des améliorations notables et cohérentes par rapport aux stratégies d'incitation antérieures sur une grande variété d'architectures MLLM, couvrant différentes échelles de paramètres et schémas d'entraînement. Nous présentons en outre des études d'ablation pour valider nos choix de conception, ainsi que des analyses détaillées qui sondent les goulots d'étranglement du raisonnement spatial 3D dans les MLLM.
English
Existing Multimodal Large Language Models (MLLMs) struggle with 3D spatial reasoning, as they fail to construct structured abstractions of the 3D environment depicted in video inputs. To bridge this gap, drawing inspiration from cognitive theories of allocentric spatial reasoning, we investigate how to enable MLLMs to model and reason over text-based spatial representations of video. Specifically, we introduce Textual Representation of Allocentric Context from Egocentric Video (TRACE), a prompting method that induces MLLMs to generate text-based representations of 3D environments as intermediate reasoning traces for more accurate spatial question answering. TRACE encodes meta-context, camera trajectories, and detailed object entities to support structured spatial reasoning over egocentric videos. Extensive experiments on VSI-Bench and OST-Bench demonstrate that TRACE yields notable and consistent improvements over prior prompting strategies across a diverse range of MLLM backbones, spanning different parameter scales and training schemas. We further present ablation studies to validate our design choices, along with detailed analyses that probe the bottlenecks of 3D spatial reasoning in MLLMs.