Voorbij Waarnemingsfouten: Semantische Fixatie in Grote Visueel-Taalmodellen
Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models
April 13, 2026
Auteurs: Md Tanvirul Alam
cs.AI
Samenvatting
Grote vision-language-modellen (VLMs) vertrouwen vaak op bekende semantische prioriteiten, maar bestaande evaluaties scheiden perceptiefouten niet netjes van regeltoewijzingsfouten. Wij bestuderen dit gedrag als semantische fixatie: het behouden van een standaardinterpretatie, zelfs wanneer de prompt een alternatieve, even geldige toewijzing specificeert. Om dit effect te isoleren, introduceren we VLM-Fix, een gecontroleerde benchmark met vier abstracte strategieën die identieke eindbordposities evalueert onder gepaarde standaard- en inverse regelformuleringen. Over 14 open en gesloten VLMs heen bevoordeelt de nauwkeurigheid consequent standaardregels, wat een robuuste semantische-fixatiekloof onthult. Promptinterventies ondersteunen dit mechanisme: neutrale alias-prompts verkleinen de inverse-regel-kloof aanzienlijk, terwijl semantisch geladen aliassen deze heropenen. Post-training is sterk regelgealignerd: training op één regel verbetert de transfer onder dezelfde regel, maar schaadt transfer onder de tegenovergestelde regel, terwijl gezamenlijke-regel-training bredere transfer verbetert. Om de externe validiteit buiten synthetische spellen te testen, evalueren we analoge defamiliarisatie-interventies op VLMBias en observeren we hetzelfde kwalitatieve patroon. Tenotte herstelt sturing van late-laag-activaties gedeeltelijk de verslechterde prestaties, wat aangeeft dat semantische-fixatiefouten ten minste gedeeltelijk bewerkbaar zijn in late representaties. Projectpagina, code en dataset beschikbaar op https://maveryn.github.io/vlm-fix/.
English
Large vision-language models (VLMs) often rely on familiar semantic priors, but existing evaluations do not cleanly separate perception failures from rule-mapping failures. We study this behavior as semantic fixation: preserving a default interpretation even when the prompt specifies an alternative, equally valid mapping. To isolate this effect, we introduce VLM-Fix, a controlled benchmark over four abstract strategy games that evaluates identical terminal board states under paired standard and inverse rule formulations. Across 14 open and closed VLMs, accuracy consistently favors standard rules, revealing a robust semantic-fixation gap. Prompt interventions support this mechanism: neutral alias prompts substantially narrow the inverse-rule gap, while semantically loaded aliases reopen it. Post-training is strongly rule-aligned: training on one rule improves same-rule transfer but hurts opposite-rule transfer, while joint-rule training improves broader transfer. To test external validity beyond synthetic games, we evaluate analogous defamiliarization interventions on VLMBias and observe the same qualitative pattern. Finally, late-layer activation steering partially recovers degraded performance, indicating that semantic-fixation errors are at least partly editable in late representations. Project page, code, and dataset available at https://maveryn.github.io/vlm-fix/.