S-Space：マルチモーダル言語モデルにおける空間ワークスペースの探究

要旨

マルチモーダル言語モデル（MLLM）は有望な空間推論能力を示すが、それを支える内部機構は依然として十分に理解されていない。我々はS-Spaceを明らかにする。これは、オブジェクトトークン表現が水平・垂直・距離軸に沿った連続座標を符号化する線形表現部分空間である。これらの軸は、空間回答スコアをオブジェクトトークン活性に関して微分することによって同定されるものの、S-Spaceは特定のデータやプロンプトによって誘導されるものではなく内在的であり、非空間的質問の下でも読み取り可能であり続ける。我々は、S-SpaceがMLLMの内部空間ワークスペースとして機能することを示す。知覚は物体位置をそこに符号化し、正確な空間判断を支するために直接読み出し可能な空間表現を形成する。内部推論は視点変化のためにそれを変換する。言語応答はそれを選択的にアクセスし、このことは空間判断を変化させつつ非空間応答を大部分保持する因果介入によって示される。ケーススタディはさらに、S-Spaceが未見エンティティや観察者に位置を割り当て、物理的方向と抽象的言語意味を結びつけることを示し、大規模言語訓練の能力と限界の両方を示唆する。最後に、我々はS-Spaceを空間推論失敗の診断ツールとして用いる。方向語の読み出しは、基本方位基準枠と画像相対基準枠との間の系統的結合を明らかにする。さらに重要なことに、知覚-計算分解は主要なボトルネックを露呈する。MLLMは有能な空間表現を形成できるが、視点変化をまたいで信頼性高く推論するために必要な空間変換において不足している。

English

Multimodal language models (MLLMs) exhibit promising spatial reasoning capabilities, yet the internal mechanisms supporting them remain poorly understood. We uncover S-Space, a linear representation subspace in which object-token representations encode continuous coordinates along horizontal, vertical, and distance axes. Although we identify these axes by differentiating spatial-answer scores with respect to object-token activations, S-Space is intrinsic rather than induced by specific data or prompts, remaining readable under non-spatial questions. We show that S-Space functions as an internal spatial workspace of MLLMs. Perception encodes object locations into it, forming spatial representations that can be directly read out to support accurate spatial judgments. Internal reasoning transforms it for changing viewpoints. Verbal responses selectively access it, evidenced by causal interventions that alter spatial judgments while largely preserving non-spatial responses. Case studies further show that S-Space assigns locations to unseen entities and the observer, and connects physical directions with abstract linguistic meanings, suggesting both the capabilities and limitations of large-scale language training. Finally, we use S-Space as a diagnostic tool for spatial reasoning failures. Direction-word readouts reveal systematic coupling between cardinal and image-relative reference frames. More importantly, a perception-computation decomposition exposes a key bottleneck: MLLMs can form capable spatial representations, yet fall short in the spatial transformations required to reason reliably across viewpoint changes.

S-Space：マルチモーダル言語モデルにおける空間ワークスペースの探究

S-Space: Exploring Spatial Workspace in Multimodal Language Models

要旨

Support