見ることは共有ではない：一部の視覚言語モデルは非対称対話における共通基盤を過大評価する

要旨

協調的対話において、共有された知覚は必ずしも共有された解釈を保証しない。相互作用を通じて相互理解を確立する必要がある。本研究では、視覚言語モデル（VLM）がグラウンディングを通じて対話参加者間で共有される可能性のあるものと既に共有されたものを区別できるかを調査する。この課題を、HCRC MapTask対話から得られた13,077の注釈付き参照表現を用いた解釈一致タスクとして定式化し、対話コンテキストと地図情報へのアクセスを系統的に制御した条件下でVLMを評価する。実験結果は、実際の地図画像を提供すると全体的な性能は向上するものの、モデルがアラインメントを過剰に予測する方向へとシフトすることを示す。同じ地図内容をテキストで記述した場合もこのバイアスが再現され、一方で情報を含まない画像はアラインメント予測を完全に抑制する。これはバイアスが視覚チャネルではなくタスク関連の地図内容によって引き起こされることを示唆する。この性能向上は、非アラインメント事例における精度低下を代償としてもたらされる。さらに、キャリブレーション分析と参照連鎖追跡から、モデルは対話履歴を通じてグラウンディングがどのように展開されるかを追跡するのではなく、地図上の静的な参照的手がかりに依存していることが示唆される。これらのパターンは、Qwen3-VL-8B-Instructにおいて最も顕著に観察され、2つのアーキテクチャファミリーに属する追加の4モデルでも程度の差はあれ確認された。バイアスを示すモデルでは、地図内容が視覚的であれテキスト的であれ、相互理解の証拠として扱われ、可能性と確立された共通基盤とが混同される。

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.