Jenseits von Wahrnehmungsfehlern: Semantische Fixierung in großen visuell-sprachlichen Modellen
Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models
April 13, 2026
Autoren: Md Tanvirul Alam
cs.AI
Zusammenfassung
Große visuell-sprachliche Modelle (VLMs) verlassen sich oft auf vertraute semantische Priors, bestehende Evaluierungen trennen jedoch Wahrnehmungsfehler nicht sauber von Regelzuordnungsfehlern. Wir untersuchen dieses Verhalten als semantische Fixierung: die Beibehaltung einer Standardinterpretation, selbst wenn der Prompt eine alternative, gleichwertige Zuordnung vorgibt. Um diesen Effekt zu isolieren, führen wir VLM-Fix ein, einen kontrollierten Benchmark über vier abstrakte Strategiespiele, der identische Endspiel-Brettzustände unter gepaarten Standard- und inversen Regelformulierungen evaluiert. Bei 14 offenen und geschlossenen VLMs begünstigt die Genauigkeit durchgängig Standardregeln und offenbart eine robuste semantische Fixierungslücke. Prompt-Interventionen stützen diesen Mechanismus: neutrale Alias-Prompts verringern die inverse-Regel-Lücke erheblich, während semantisch aufgeladene Aliase sie wieder öffnen. Post-Training ist stark regelaligniert: Training mit einer Regel verbessert den Transfer bei gleicher Regel, verschlechtert ihn aber bei entgegengesetzter Regel, während gemeinsames Training den breiteren Transfer verbessert. Um die externe Validität über synthetische Spiele hinaus zu testen, evaluieren wir analoge Defamiliarisierungs-Interventionen auf VLMBias und beobachten dasselbe qualitative Muster. Schließlich stellt das Steuern von Aktivierungen in späten Schichten die beeinträchtigte Leistung teilweise wieder her, was darauf hindeutet, dass semantische Fixierungsfehler zumindest teilweise in späten Repräsentationen editierbar sind. Projektseite, Code und Datensatz verfügbar unter https://maveryn.github.io/vlm-fix/.
English
Large vision-language models (VLMs) often rely on familiar semantic priors, but existing evaluations do not cleanly separate perception failures from rule-mapping failures. We study this behavior as semantic fixation: preserving a default interpretation even when the prompt specifies an alternative, equally valid mapping. To isolate this effect, we introduce VLM-Fix, a controlled benchmark over four abstract strategy games that evaluates identical terminal board states under paired standard and inverse rule formulations. Across 14 open and closed VLMs, accuracy consistently favors standard rules, revealing a robust semantic-fixation gap. Prompt interventions support this mechanism: neutral alias prompts substantially narrow the inverse-rule gap, while semantically loaded aliases reopen it. Post-training is strongly rule-aligned: training on one rule improves same-rule transfer but hurts opposite-rule transfer, while joint-rule training improves broader transfer. To test external validity beyond synthetic games, we evaluate analogous defamiliarization interventions on VLMBias and observe the same qualitative pattern. Finally, late-layer activation steering partially recovers degraded performance, indicating that semantic-fixation errors are at least partly editable in late representations. Project page, code, and dataset available at https://maveryn.github.io/vlm-fix/.