Au-delà des erreurs de perception : la fixation sémantique dans les grands modèles vision-langage
Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models
April 13, 2026
Auteurs: Md Tanvirul Alam
cs.AI
Résumé
Les grands modèles vision-langage (VLM) reposent souvent sur des préconceptions sémantiques familières, mais les évaluations existantes ne séparent pas clairement les échecs de perception des échecs de cartographie des règles. Nous étudions ce comportement sous le nom de fixation sémantique : la préservation d'une interprétation par défaut même lorsque l'instruction spécifie un mappage alternatif tout aussi valide. Pour isoler cet effet, nous présentons VLM-Fix, un benchmark contrôlé sur quatre jeux de stratégie abstraits qui évalue des états finaux de plateau identiques sous des formulations de règles standards et inversées appariées. Sur 14 VLM ouverts et fermés, la précision favorise systématiquement les règles standards, révélant un écart robuste de fixation sémantique. Les interventions par prompt étayent ce mécanisme : des prompts utilisant des alias neutres réduisent considérablement l'écart pour les règles inversées, tandis que des alias chargés sémantiquement le rouvrent. L'apprentissage post-formation est fortement aligné sur les règles : s'entraîner sur une règle améliore le transfert pour la même règle mais nuit au transfert pour la règle opposée, tandis qu'un entraînement conjoint améliore le transfert global. Pour tester la validité externe au-delà des jeux synthétiques, nous évaluons des interventions de défamiliarisation analogues sur VLMBias et observons le même schéma qualitatif. Enfin, le pilotage des activations des couches tardives permet de récupérer partiellement les performances dégradées, indiquant que les erreurs de fixation sémantique sont au moins partiellement modifiables dans les représentations tardives. Page du projet, code et jeu de données disponibles sur https://maveryn.github.io/vlm-fix/.
English
Large vision-language models (VLMs) often rely on familiar semantic priors, but existing evaluations do not cleanly separate perception failures from rule-mapping failures. We study this behavior as semantic fixation: preserving a default interpretation even when the prompt specifies an alternative, equally valid mapping. To isolate this effect, we introduce VLM-Fix, a controlled benchmark over four abstract strategy games that evaluates identical terminal board states under paired standard and inverse rule formulations. Across 14 open and closed VLMs, accuracy consistently favors standard rules, revealing a robust semantic-fixation gap. Prompt interventions support this mechanism: neutral alias prompts substantially narrow the inverse-rule gap, while semantically loaded aliases reopen it. Post-training is strongly rule-aligned: training on one rule improves same-rule transfer but hurts opposite-rule transfer, while joint-rule training improves broader transfer. To test external validity beyond synthetic games, we evaluate analogous defamiliarization interventions on VLMBias and observe the same qualitative pattern. Finally, late-layer activation steering partially recovers degraded performance, indicating that semantic-fixation errors are at least partly editable in late representations. Project page, code, and dataset available at https://maveryn.github.io/vlm-fix/.