Видеть не значит делиться: некоторые визуально-языковые модели переоценивают общую основу в асимметричном диалоге

Аннотация

В совместном диалоге общее восприятие не гарантирует общую интерпретацию. Взаимопонимание должно устанавливаться через взаимодействие. Мы исследуем, могут ли визуально-языковые модели (VLM) различать то, что может быть общим, и то, что стало общим между участниками диалога посредством укоренения. Мы формулируем это как задачу сопоставления интерпретаций на 13 077 аннотированных референциальных выражениях из диалогов HCRC MapTask и оцениваем VLM при систематически контролируемых манипуляциях контекстом диалога и доступом к картографической информации. Наши результаты показывают, что предоставление аутентичных изображений карт улучшает общую производительность, но смещает модели в сторону чрезмерного предсказания согласованности. Текстовые описания того же содержимого карты воспроизводят это смещение, в то время как неинформативные изображения полностью подавляют предсказания согласованности, что указывает на то, что смещение обусловлено релевантным задаче содержимым карты, а не визуальным каналом. Это улучшение достигается за счет снижения точности на несогласованных случаях. Калибровочный анализ и отслеживание цепочек референций дополнительно показывают, что модели опираются на статические референциальные подсказки на картах, а не на отслеживание того, как укоренение разворачивается через историю диалога. Мы наблюдаем эти паттерны наиболее четко в Qwen3-VL-8B-Instruct и, в разной степени, в четырех дополнительных моделях из двух семейств архитектур. В моделях, демонстрирующих это смещение, содержимое карты, представленное визуально или текстуально, рассматривается как свидетельство взаимопонимания, смешивая потенциальное с установленным общим основанием.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.