Além dos Erros de Percepção: Fixação Semântica em Grandes Modelos de Visão e Linguagem
Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models
April 13, 2026
Autores: Md Tanvirul Alam
cs.AI
Resumo
Os grandes modelos visuo-linguísticos (VLMs) frequentemente dependem de pré-concepções semânticas familiares, mas as avaliações existentes não separam claramente as falhas de percepção das falhas de mapeamento de regras. Estudamos este comportamento como fixação semântica: a preservação de uma interpretação padrão mesmo quando a instrução especifica um mapeamento alternativo igualmente válido. Para isolar este efeito, introduzimos o VLM-Fix, um benchmark controlado com quatro jogos de estratégia abstratos que avalia estados finais idênticos do tabuleiro sob formulações de regras padrão e inversas emparelhadas. Em 14 VLMs abertos e fechados, a precisão favorece consistentemente as regras padrão, revelando uma lacuna robusta de fixação semântica. Intervenções nas instruções corroboram este mecanismo: instruções com pseudónimos neutros reduzem substancialmente a lacuna das regras inversas, enquanto pseudónimos semanticamente carregados a reabrem. O pós-treinamento está fortemente alinhado com as regras: treinar numa regra melhora a transferência para a mesma regra, mas prejudica a transferência para a regra oposta, enquanto o treino conjunto de regras melhora a transferência mais ampla. Para testar a validade externa além dos jogos sintéticos, avaliamos intervenções análogas de "desfamiliarização" no VLMBias e observamos o mesmo padrão qualitativo. Finalmente, o direcionamento de ativações em camadas tardias recupera parcialmente o desempenho degradado, indicando que os erros de fixação semântica são, pelo menos em parte, editáveis nas representações tardias. Página do projeto, código e conjunto de dados disponíveis em https://maveryn.github.io/vlm-fix/.
English
Large vision-language models (VLMs) often rely on familiar semantic priors, but existing evaluations do not cleanly separate perception failures from rule-mapping failures. We study this behavior as semantic fixation: preserving a default interpretation even when the prompt specifies an alternative, equally valid mapping. To isolate this effect, we introduce VLM-Fix, a controlled benchmark over four abstract strategy games that evaluates identical terminal board states under paired standard and inverse rule formulations. Across 14 open and closed VLMs, accuracy consistently favors standard rules, revealing a robust semantic-fixation gap. Prompt interventions support this mechanism: neutral alias prompts substantially narrow the inverse-rule gap, while semantically loaded aliases reopen it. Post-training is strongly rule-aligned: training on one rule improves same-rule transfer but hurts opposite-rule transfer, while joint-rule training improves broader transfer. To test external validity beyond synthetic games, we evaluate analogous defamiliarization interventions on VLMBias and observe the same qualitative pattern. Finally, late-layer activation steering partially recovers degraded performance, indicating that semantic-fixation errors are at least partly editable in late representations. Project page, code, and dataset available at https://maveryn.github.io/vlm-fix/.