Revelando a Confusão de Identidade de Entidade na Edição de Conhecimento Multimodal

Resumo

Edição multimodal de conhecimento (EMC) visa corrigir o conhecimento interno de grandes modelos de visão-linguagem após a implantação, porém os padrões comportamentais dos modelos pós-edição permanecem pouco explorados. Neste artigo, identificamos um modo de falha sistêmico em modelos editados, denominado Confusão de Identidade de Entidade (CIE): os modelos editados exibem um comportamento absurdo no qual consultas textuais sobre a identidade da entidade original retornam inesperadamente informações sobre a nova entidade. Para investigar rigorosamente a CIE, construímos o EC-Bench, um benchmark diagnóstico que sonda diretamente como as vinculações imagem-entidade mudam antes e depois da edição. Nossa análise revela que a CIE decorre da falha dos métodos existentes em distinguir, no modelo, entre conhecimento de vinculação Imagem-Entidade (I-E) e conhecimento relacional Entidade-Entidade (E-E), fazendo com que os modelos superajustem associações E-E como um atalho: a imagem ainda é percebida como a entidade original, enquanto o nome da nova entidade serve apenas como um rótulo de identidade espúrio. Exploramos ainda possíveis estratégias de mitigação, mostrando que restringir as edições ao estágio de processamento I-E do modelo incentiva que as edições atuem mais fielmente na vinculação I-E, reduzindo substancialmente a CIE. Com base nesses achados, discutimos desideratos fundamentais para uma EMC fiel e fornecemos orientações metodológicas para pesquisas futuras.

English

Multimodal knowledge editing (MKE) aims to correct the internal knowledge of large vision-language models after deployment, yet the behavioral patterns of post-edit models remain underexplored. In this paper, we identify a systemic failure mode in edited models, termed Entity Identity Confusion (EIC): edited models exhibit an absurd behavior where text-only queries about the original entity's identity unexpectedly return information about the new entity. To rigorously investigate EIC, we construct EC-Bench, a diagnostic benchmark that directly probes how image-entity bindings shift before and after editing. Our analysis reveals that EIC stems from existing methods failing to distinguish between Image-Entity (I-E) binding and Entity-Entity (E-E) relational knowledge in the model, causing models to overfit E-E associations as a shortcut: the image is still perceived as the original entity, with the new entity's name serving only as a spurious identity label. We further explore potential mitigation strategies, showing that constraining edits to the model's I-E processing stage encourages edits to act more faithfully on I-E binding, thereby substantially reducing EIC. Based on these findings, we discuss principled desiderata for faithful MKE and provide methodological guidance for future research.