Ver não é compartilhar: alguns modelos de visão e linguagem superestimam o terreno comum em diálogos assimétricos

Resumo

Em diálogo colaborativo, a percepção compartilhada não garante interpretação compartilhada. A compreensão mútua deve ser estabelecida por meio da interação. Investigamos se modelos de visão-linguagem (VLMs) conseguem distinguir o que poderia ser compartilhado do que foi compartilhado entre participantes do diálogo por meio da ancoragem. Formulamos isso como uma tarefa de correspondência de interpretação em 13.077 expressões de referência anotadas dos diálogos HCRC MapTask, e avaliamos VLMs sob manipulações sistematicamente controladas do contexto do diálogo e do acesso à informação do mapa. Nossos resultados mostram que fornecer imagens autênticas do mapa melhora o desempenho geral, mas desloca os modelos para uma superpredição de alinhamento. Descrições textuais do mesmo conteúdo do mapa reproduzem esse viés, enquanto imagens não informativas suprimem completamente as previsões de alinhamento, indicando que o viés é impulsionado pelo conteúdo relevante à tarefa do mapa, e não pelo canal visual. Essa melhora ocorre ao custo de uma precisão degradada em casos não alinhados. A análise de calibração e o rastreamento de cadeias de referência sugerem ainda que os modelos dependem de pistas referenciais estáticas nos mapas, em vez de rastrear como a ancoragem se desenrola por meio do histórico do diálogo. Observamos esses padrões mais claramente no Qwen3-VL-8B-Instruct e, em graus variados, em quatro modelos adicionais de duas famílias de arquitetura. Em modelos que exibem o viés, o conteúdo do mapa, seja apresentado visual ou textualmente, é tratado como evidência de compreensão mútua, confundindo terreno comum potencial com terreno comum estabelecido.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.