Sviluppo del Ragionamento Spaziale nei Modelli Linguistici Multimodali di Grande Dimensione attraverso un Ragionamento Guidato dalla Rappresentazione Testuale

Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning

March 24, 2026

Autori: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) esistenti mostrano difficoltà nel ragionamento spaziale 3D, poiché non riescono a costruire astrazioni strutturate dell'ambiente tridimensionale rappresentato negli input video. Per colmare questa lacuna, traendo ispirazione dalle teorie cognitive sul ragionamento spaziale allocentrico, indaghiamo come abilitare gli MLLM a modellare e ragionare su rappresentazioni spaziali testuali del video. Nello specifico, introduciamo TRACE (Textual Representation of Allocentric Context from Egocentric Video), un metodo di prompting che induce gli MLLM a generare rappresentazioni testuali basate su testo degli ambienti 3D come tracce di ragionamento intermedie per una risposta più accurata a domande spaziali. TRACE codifica meta-contesto, traiettorie della telecamera ed entità oggetto dettagliate per supportare un ragionamento spaziale strutturato sui video egocentrici. Esperimenti approfonditi su VSI-Bench e OST-Bench dimostrano che TRACE produce miglioramenti notevoli e consistenti rispetto alle precedenti strategie di prompting su una vasta gamma di architetture MLLM, che abbracciano diverse scale parametriche e schemi di addestramento. Presentiamo inoltre studi di ablazione per convalidare le nostre scelte progettuali, insieme ad analisi dettagliate che esplorano i colli di bottiglia del ragionamento spaziale 3D negli MLLM.

English

Existing Multimodal Large Language Models (MLLMs) struggle with 3D spatial reasoning, as they fail to construct structured abstractions of the 3D environment depicted in video inputs. To bridge this gap, drawing inspiration from cognitive theories of allocentric spatial reasoning, we investigate how to enable MLLMs to model and reason over text-based spatial representations of video. Specifically, we introduce Textual Representation of Allocentric Context from Egocentric Video (TRACE), a prompting method that induces MLLMs to generate text-based representations of 3D environments as intermediate reasoning traces for more accurate spatial question answering. TRACE encodes meta-context, camera trajectories, and detailed object entities to support structured spatial reasoning over egocentric videos. Extensive experiments on VSI-Bench and OST-Bench demonstrate that TRACE yields notable and consistent improvements over prior prompting strategies across a diverse range of MLLM backbones, spanning different parameter scales and training schemas. We further present ablation studies to validate our design choices, along with detailed analyses that probe the bottlenecks of 3D spatial reasoning in MLLMs.