Desatendiendo el Razonamiento Espacial en Modelos de Lenguaje Grandes Multimodales mediante Razonamiento Guiado por Representación Textual
Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning
March 24, 2026
Autores: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu
cs.AI
Resumen
Los Modelos de Lenguaje Grandes Multimodales (MLLM) existentes tienen dificultades con el razonamiento espacial 3D, ya que no logran construir abstracciones estructuradas del entorno 3D representado en entradas de video. Para cerrar esta brecha, inspirándonos en teorías cognitivas del razonamiento espacial alocéntrico, investigamos cómo permitir que los MLLM modelen y razonen sobre representaciones espaciales basadas en texto a partir de video. Específicamente, presentamos Representación Textual del Contexto Alocéntrico a partir de Video Egocéntrico (TRACE), un método de *prompting* que induce a los MLLM a generar representaciones basadas en texto de entornos 3D como trazas de razonamiento intermedias para una respuesta más precisa a preguntas espaciales. TRACE codifica meta-contexto, trayectorias de cámara y entidades de objetos detalladas para apoyar el razonamiento espacial estructurado sobre videos egocéntricos. Experimentos exhaustivos en VSI-Bench y OST-Bench demuestran que TRACE produce mejoras notables y consistentes sobre estrategias de *prompting* previas en una amplia gama de arquitecturas base de MLLM, abarcando diferentes escalas de parámetros y esquemas de entrenamiento. Además, presentamos estudios de ablación para validar nuestras decisiones de diseño, junto con análisis detallados que examinan los cuellos de botella del razonamiento espacial 3D en los MLLM.
English
Existing Multimodal Large Language Models (MLLMs) struggle with 3D spatial reasoning, as they fail to construct structured abstractions of the 3D environment depicted in video inputs. To bridge this gap, drawing inspiration from cognitive theories of allocentric spatial reasoning, we investigate how to enable MLLMs to model and reason over text-based spatial representations of video. Specifically, we introduce Textual Representation of Allocentric Context from Egocentric Video (TRACE), a prompting method that induces MLLMs to generate text-based representations of 3D environments as intermediate reasoning traces for more accurate spatial question answering. TRACE encodes meta-context, camera trajectories, and detailed object entities to support structured spatial reasoning over egocentric videos. Extensive experiments on VSI-Bench and OST-Bench demonstrate that TRACE yields notable and consistent improvements over prior prompting strategies across a diverse range of MLLM backbones, spanning different parameter scales and training schemas. We further present ablation studies to validate our design choices, along with detailed analyses that probe the bottlenecks of 3D spatial reasoning in MLLMs.