보는 것이 공유는 아니다: 일부 시각-언어 모델이 비대칭 대화에서 공통 기반을 과대평가한다

초록

협력적 대화에서 공유된 지각이 공유된 해석을 보장하지는 않는다. 상호 이해는 상호작용을 통해 확립되어야 한다. 우리는 시각-언어 모델(VLM)이 대화 참여자 간에 공유될 수 있는 것과 이미 공유된 것을 그라운딩(grounding)을 통해 구별할 수 있는지 조사한다. 우리는 이를 HCRC MapTask 대화에서 13,077개의 주석이 달린 참조 표현에 대한 해석 일치 과제로 정식화하고, 대화 맥락과 지도 정보 접근을 체계적으로 통제한 조작 하에 VLM을 평가한다. 우리의 결과는 실제 지도 이미지를 제공하는 것이 전반적인 성능을 향상시키지만 모델을 정렬을 과도하게 예측하는 방향으로 전환시킨다는 것을 보여준다. 동일한 지도 내용의 텍스트 설명은 이러한 편향을 재현하는 반면, 정보가 없는 이미지는 정렬 예측을 완전히 억제하는데, 이는 편향이 시각적 채널이 아닌 과제 관련 지도 내용에 의해 주도됨을 시사한다. 이러한 향상은 정렬되지 않은 사례에 대한 정확도 저하를 대가로 발생한다. 보정 분석과 참조 사슬 추적은 모델이 대화 기록을 통해 그라운딩이 어떻게 전개되는지 추적하기보다 지도의 정적 참조 단서에 의존함을 추가로 시사한다. 우리는 이러한 패턴을 Qwen3-VL-8B-Instruct에서 가장 명확하게 관찰하며, 두 아키텍처 계열의 추가 모델 네 개에서도 다양한 정도로 관찰한다. 편향을 나타내는 모델에서 지도 내용은 시각적 또는 텍스트로 제시되든 상호 이해의 증거로 취급되어, 잠재적 공통 기반과 확립된 공통 기반을 혼동한다.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.