Sehen ist nicht Teilen: Einige Bild-Sprach-Modelle überschätzen den gemeinsamen Wissensstand in asymmetrischen Dialogen

Zusammenfassung

In kollaborativen Dialogen garantiert geteilte Wahrnehmung keine geteilte Interpretation. Gegenseitiges Verständnis muss durch Interaktion hergestellt werden. Wir untersuchen, ob Vision-Language-Modelle (VLMs) unterscheiden können, was zwischen Dialogteilnehmern geteilt werden könnte von dem, was tatsächlich geteilt wurde – mittels Grounding. Wir formulieren dies als Interpretationsabgleich-Aufgabe auf 13.077 annotierten Referenzausdrücken aus HCRC-MapTask-Dialogen und evaluieren VLMs unter systematisch kontrollierten Manipulationen des Dialogkontexts und des Zugriffs auf Karteninformationen. Unsere Ergebnisse zeigen, dass die Bereitstellung authentischer Kartenbilder die Gesamtleistung verbessert, die Modelle jedoch dazu neigt, eine Überschätzung von Alignment vorherzusagen. Textuelle Beschreibungen desselben Karteninhalts reproduzieren diese Verzerrung, während nicht-informative Bilder Alignments-Vorhersagen vollständig unterdrücken; dies deutet darauf hin, dass die Verzerrung durch aufgabenrelevante Karteninhalte und nicht durch den visuellen Kanal verursacht wird. Diese Verbesserung geht zu Lasten einer verminderten Genauigkeit bei nicht alignierten Fällen. Kalibrierungsanalyse und Referenzkettenverfolgung legen zudem nahe, dass die Modelle eher auf statischen referenziellen Hinweisen auf den Karten beruhen, als darauf zu verfolgen, wie sich Grounding im Dialogverlauf entfaltet. Diese Muster beobachten wir am deutlichsten in Qwen3-VL-8B-Instruct und, in unterschiedlichem Ausmaß, in vier weiteren Modellen aus zwei Architekturfamilien. Bei Modellen, die die Verzerrung aufweisen, wird Karteninhalt – ob visuell oder textuell präsentiert – als Beleg für gegenseitiges Verständnis behandelt, wobei potenzieller und etablierter gemeinsamer Grund vermischt werden.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.