Desencadeando o Raciocínio Espacial em Modelos de Linguagem Multimodais Grandes através do Raciocínio Guiado por Representação Textual
Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning
March 24, 2026
Autores: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu
cs.AI
Resumo
Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) existentes têm dificuldades com o raciocínio espacial 3D, pois não conseguem construir abstrações estruturadas do ambiente 3D representado em vídeos. Para preencher esta lacuna, inspirando-nos em teorias cognitivas do raciocínio espacial alocêntrico, investigamos como capacitar os MLLMs para modelar e raciocinar sobre representações espaciais baseadas em texto de vídeos. Especificamente, introduzimos a Representação Textual do Contexto Alocêntrico a partir de Vídeo Egocêntrico (TRACE), um método de *prompting* que induz os MLLMs a gerarem representações textuais de ambientes 3D como traços de raciocínio intermediários para uma resposta mais precisa a perguntas espaciais. O TRACE codifica meta-contexto, trajetórias da câmara e entidades objectuais detalhadas para suportar um raciocínio espacial estruturado sobre vídeos egocêntricos. Experiências extensivas no VSI-Bench e no OST-Bench demonstram que o TRACE produz melhorias notáveis e consistentes em relação a estratégias de *prompting* anteriores, numa diversidade de arquiteturas base de MLLMs, abrangendo diferentes escalas de parâmetros e esquemas de treino. Apresentamos ainda estudos de ablação para validar as nossas opções de conceção, juntamente com análises detalhadas que investigam os estrangulamentos do raciocínio espacial 3D nos MLLMs.
English
Existing Multimodal Large Language Models (MLLMs) struggle with 3D spatial reasoning, as they fail to construct structured abstractions of the 3D environment depicted in video inputs. To bridge this gap, drawing inspiration from cognitive theories of allocentric spatial reasoning, we investigate how to enable MLLMs to model and reason over text-based spatial representations of video. Specifically, we introduce Textual Representation of Allocentric Context from Egocentric Video (TRACE), a prompting method that induces MLLMs to generate text-based representations of 3D environments as intermediate reasoning traces for more accurate spatial question answering. TRACE encodes meta-context, camera trajectories, and detailed object entities to support structured spatial reasoning over egocentric videos. Extensive experiments on VSI-Bench and OST-Bench demonstrate that TRACE yields notable and consistent improvements over prior prompting strategies across a diverse range of MLLM backbones, spanning different parameter scales and training schemas. We further present ablation studies to validate our design choices, along with detailed analyses that probe the bottlenecks of 3D spatial reasoning in MLLMs.