За пределами ошибок восприятия: семантическая фиксация в больших визуально-языковых моделях

Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models

April 13, 2026

Авторы: Md Tanvirul Alam

cs.AI

Аннотация

Крупные визуально-языковые модели (VLM) часто опираются на знакомые семантические априорные представления, однако существующие методы оценки не позволяют четко отделить ошибки восприятия от ошибок сопоставления правил. Мы исследуем это поведение как **семантическую фиксацию**: сохранение интерпретации по умолчанию, даже когда промт задает альтернативное, равноправное соответствие. Чтобы изолировать данный эффект, мы представляем **VLM-Fix** — контролируемый бенчмарк, включающий четыре абстрактные стратегические игры, который оценивает идентичные финальные состояния игрового поля в парных стандартных и инверсных формулировках правил. На примере 14 открытых и закрытых VLM точность последовательно выше для стандартных правил, выявляя устойчивый разрыв, обусловленный семантической фиксацией. Вмешательства через промты подтверждают этот механизм: нейтральные псевдонимы в промтах существенно сокращают разрыв для инверсных правил, тогда как семантически нагруженные псевдонимы вновь его увеличивают. Пост-обучение сильно зависит от правил: обучение на одном типе правил улучшает перенос на тот же тип, но ухудшает на противоположный, тогда как совместное обучение на обоих типах улучшает обобщающую способность. Для проверки внешней валидности за пределами синтетических игр мы оценили аналогичные вмешательства по дефамилиаризации на наборе данных VLMBias и наблюдали ту же качественную закономерность. Наконец, управление активациями на поздних слоях частично восстанавливает сниженную производительность, что указывает на возможность редактирования ошибок семантической фиксации, по крайней мере частично, в поздних репрезентациях. Страница проекта, код и набор данных доступны по адресу https://maveryn.github.io/vlm-fix/.

English

Large vision-language models (VLMs) often rely on familiar semantic priors, but existing evaluations do not cleanly separate perception failures from rule-mapping failures. We study this behavior as semantic fixation: preserving a default interpretation even when the prompt specifies an alternative, equally valid mapping. To isolate this effect, we introduce VLM-Fix, a controlled benchmark over four abstract strategy games that evaluates identical terminal board states under paired standard and inverse rule formulations. Across 14 open and closed VLMs, accuracy consistently favors standard rules, revealing a robust semantic-fixation gap. Prompt interventions support this mechanism: neutral alias prompts substantially narrow the inverse-rule gap, while semantically loaded aliases reopen it. Post-training is strongly rule-aligned: training on one rule improves same-rule transfer but hurts opposite-rule transfer, while joint-rule training improves broader transfer. To test external validity beyond synthetic games, we evaluate analogous defamiliarization interventions on VLMBias and observe the same qualitative pattern. Finally, late-layer activation steering partially recovers degraded performance, indicating that semantic-fixation errors are at least partly editable in late representations. Project page, code, and dataset available at https://maveryn.github.io/vlm-fix/.