Voir n'est pas partager : Certains modèles vision-langage surestiment le terrain commun dans un dialogue asymétrique

Résumé

Dans le dialogue collaboratif, la perception partagée ne garantit pas une interprétation partagée. La compréhension mutuelle doit s'établir par l'interaction. Nous étudions si les modèles vision-langage (VLMs) peuvent distinguer ce qui pourrait être partagé de ce qui a été effectivement partagé entre les participants au dialogue via l'ancrage. Nous formulons cela comme une tâche d'appariement d'interprétations sur 13 077 expressions de référence annotées issues des dialogues HCRC MapTask, et évaluons les VLMs sous des manipulations systématiquement contrôlées du contexte dialogique et de l'accès à l'information cartographique. Nos résultats montrent que fournir des images de cartes authentiques améliore la performance globale mais pousse les modèles à sur-prédire l'alignement. Les descriptions textuelles du même contenu cartographique reproduisent ce biais, tandis que des images non informatives suppriment entièrement les prédictions d'alignement, indiquant que ce biais est conduit par le contenu cartographique pertinent à la tâche, non par le canal visuel. Cette amélioration se fait au détriment d'une précision réduite sur les cas non alignés. L'analyse de calibration et le suivi des chaînes de référence suggèrent en outre que les modèles s'appuient sur des indices référentiels statiques sur les cartes plutôt que de suivre le déroulement de l'ancrage à travers l'historique dialogique. Nous observons ces schémas le plus clairement chez Qwen3-VL-8B-Instruct et, à des degrés divers, chez quatre modèles supplémentaires issus de deux familles architecturales. Dans les modèles qui présentent ce biais, le contenu cartographique, qu'il soit présenté visuellement ou textuellement, est traité comme une preuve de compréhension mutuelle, confondant la base commune potentielle avec la base commune établie.

English

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.