Entfesselung des räumlichen Denkens in multimodalen großen Sprachmodellen durch textrepräsentationsgesteuertes Schließen
Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning
March 24, 2026
Autoren: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu
cs.AI
Zusammenfassung
Bestehende Multimodale Große Sprachmodelle (MLLMs) haben Schwierigkeiten mit räumlichem 3D-Verständnis, da sie nicht in der Lage sind, strukturierte Abstraktionen der in Videoinputs dargestellten 3D-Umgebung zu konstruieren. Um diese Lücke zu schließen, untersuchen wir, inspiriert von kognitiven Theorien des allozentrischen Raumverständnisses, wie MLLMs dazu befähigt werden können, textbasierte Raumrepräsentationen von Videos zu modellieren und darüber zu schlussfolgern. Konkret führen wir TRACE (Textual Representation of Allocentric Context from Egocentric Video) ein, eine Prompting-Methode, die MLLMs dazu veranlasst, textbasierte Repräsentationen von 3D-Umgebungen als Zwischenschritte der Schlussfolgerung zu generieren, um räumliche Fragen präziser zu beantworten. TRACE kodiert Meta-Kontext, Kameratrajektorien und detaillierte Objektentitäten, um strukturiertes räumliches Schließen über egozentrische Videos zu unterstützen. Umfangreiche Experimente auf VSI-Bench und OST-Bench zeigen, dass TRACE bemerkenswerte und konsistente Verbesserungen gegenüber bisherigen Prompting-Strategien über eine Vielzahl von MLLM-Architekturen hinweg erzielt, die unterschiedliche Parameterumfänge und Trainingsschemata abdecken. Wir präsentieren weiterhin Ablationsstudien zur Validierung unserer Designentscheidungen sowie detaillierte Analysen, die die Engpässe des 3D-Raumverständnisses in MLLMs untersuchen.
English
Existing Multimodal Large Language Models (MLLMs) struggle with 3D spatial reasoning, as they fail to construct structured abstractions of the 3D environment depicted in video inputs. To bridge this gap, drawing inspiration from cognitive theories of allocentric spatial reasoning, we investigate how to enable MLLMs to model and reason over text-based spatial representations of video. Specifically, we introduce Textual Representation of Allocentric Context from Egocentric Video (TRACE), a prompting method that induces MLLMs to generate text-based representations of 3D environments as intermediate reasoning traces for more accurate spatial question answering. TRACE encodes meta-context, camera trajectories, and detailed object entities to support structured spatial reasoning over egocentric videos. Extensive experiments on VSI-Bench and OST-Bench demonstrate that TRACE yields notable and consistent improvements over prior prompting strategies across a diverse range of MLLM backbones, spanning different parameter scales and training schemas. We further present ablation studies to validate our design choices, along with detailed analyses that probe the bottlenecks of 3D spatial reasoning in MLLMs.