Ver no es compartir: algunos modelos de visión y lenguaje sobreestiman el terreno común en el diálogo asimétrico

Resumen

En el diálogo colaborativo, la percepción compartida no garantiza una interpretación compartida. La comprensión mutua debe establecerse mediante la interacción. Investigamos si los modelos de lenguaje-visión (VLMs) pueden distinguir entre lo que podría compartirse y lo que se ha compartido entre los participantes del diálogo a través del anclaje (grounding). Formulamos esto como una tarea de coincidencia de interpretación sobre 13,077 expresiones de referencia anotadas de los diálogos HCRC MapTask, y evaluamos los VLMs bajo manipulaciones controladas sistemáticamente del contexto del diálogo y del acceso a la información del mapa. Nuestros resultados muestran que proporcionar imágenes auténticas del mapa mejora el rendimiento general, pero desplaza a los modelos hacia una sobrepredicción de la alineación. Las descripciones textuales del mismo contenido del mapa reproducen este sesgo, mientras que las imágenes no informativas suprimen por completo las predicciones de alineación, lo que indica que el sesgo está impulsado por el contenido del mapa relevante para la tarea, no por el canal visual. Esta mejora tiene el costo de una precisión degradada en los casos no alineados. El análisis de calibración y el seguimiento de cadenas de referencia sugieren además que los modelos se basan en claves referenciales estáticas en los mapas, en lugar de rastrear cómo se desarrolla el anclaje a través del historial del diálogo. Observamos estos patrones con mayor claridad en Qwen3-VL-8B-Instruct y, en diversos grados, en cuatro modelos adicionales de dos familias de arquitecturas. En los modelos que presentan el sesgo, el contenido del mapa, ya sea presentado visual o textualmente, se trata como evidencia de comprensión mutua, confundiendo el terreno común potencial con el establecido.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.