S-Space: 멀티모달 언어 모델에서의 공간적 작업 공간 탐구

초록

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 아직 제대로 이해되지 않았다. 우리는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속 좌표를 인코딩하는 선형 표현 부분공간인 S-Space를 규명한다. 우리가 객체 토큰 활성화값에 대해 공간 답변 점수를 미분함으로써 이들 축을 식별하긴 하지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 내재적인 것으로, 비공간적 질문에서도 판독 가능하게 남는다. 우리는 S-Space가 MLLM의 내부 공간 작업공간으로 기능함을 보인다. 지각은 객체 위치를 S-Space에 인코딩하여, 정확한 공간 판단을 지원하기 위해 직접 읽어낼 수 있는 공간 표현을 형성한다. 내부 추론은 변화하는 시점에 맞게 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하는데, 이는 공간 판단은 바꾸면서 비공간 응답은 대체로 보존하는 인과적 개입에 의해 입증된다. 사례 연구는 또한 S-Space가 처음 보는 개체와 관찰자에게 위치를 할당하고, 물리적 방향을 추상적 언어 의미와 연결함을 보여주며, 이는 대규모 언어 훈련의 능력과 한계를 모두 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패에 대한 진단 도구로 사용한다. 방향 단어 판독값은 기본 방위 기준틀과 이미지 상대 기준틀 사이의 체계적 결합을 드러낸다. 더 중요하게는, 지각-계산 분해가 핵심 병목 현상을 드러낸다: MLLM은 유능한 공간 표현을 형성할 수 있지만, 시점 변화 전반에 걸쳐 안정적으로 추론하는 데 필요한 공간 변환에는 미치지 못한다.

English

Multimodal language models (MLLMs) exhibit promising spatial reasoning capabilities, yet the internal mechanisms supporting them remain poorly understood. We uncover S-Space, a linear representation subspace in which object-token representations encode continuous coordinates along horizontal, vertical, and distance axes. Although we identify these axes by differentiating spatial-answer scores with respect to object-token activations, S-Space is intrinsic rather than induced by specific data or prompts, remaining readable under non-spatial questions. We show that S-Space functions as an internal spatial workspace of MLLMs. Perception encodes object locations into it, forming spatial representations that can be directly read out to support accurate spatial judgments. Internal reasoning transforms it for changing viewpoints. Verbal responses selectively access it, evidenced by causal interventions that alter spatial judgments while largely preserving non-spatial responses. Case studies further show that S-Space assigns locations to unseen entities and the observer, and connects physical directions with abstract linguistic meanings, suggesting both the capabilities and limitations of large-scale language training. Finally, we use S-Space as a diagnostic tool for spatial reasoning failures. Direction-word readouts reveal systematic coupling between cardinal and image-relative reference frames. More importantly, a perception-computation decomposition exposes a key bottleneck: MLLMs can form capable spatial representations, yet fall short in the spatial transformations required to reason reliably across viewpoint changes.

S-Space: 멀티모달 언어 모델에서의 공간적 작업 공간 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

초록

Support