Révélation de la confusion d'identité des entités dans l'édition de connaissances multimodales

Résumé

L'édition de connaissances multimodales (EKM) vise à corriger les connaissances internes des grands modèles vision-langage après leur déploiement, mais les schémas comportementaux des modèles post-édition restent peu explorés. Dans cet article, nous identifions un mode de défaillance systémique dans les modèles édités, appelé confusion d'identité d'entité (CIE) : les modèles édités présentent un comportement absurde où des requêtes textuelles concernant l'identité de l'entité d'origine renvoient de manière inattendue des informations sur la nouvelle entité. Pour étudier rigoureusement la CIE, nous construisons EC-Bench, un banc d'essai diagnostique qui sonde directement comment les liaisons image-entité évoluent avant et après l'édition. Notre analyse révèle que la CIE provient de l'incapacité des méthodes existantes à distinguer la liaison image-entité (I-E) et la connaissance relationnelle entité-entité (E-E) dans le modèle, ce qui amène les modèles à surajuster les associations E-E comme raccourci : l'image est toujours perçue comme l'entité d'origine, le nom de la nouvelle entité ne servant que d'étiquette d'identité fallacieuse. Nous explorons également des stratégies d'atténuation potentielles, montrant que contraindre les éditions à l'étape de traitement I-E du modèle encourage les éditions à agir plus fidèlement sur la liaison I-E, réduisant ainsi substantiellement la CIE. Sur la base de ces résultats, nous discutons des desiderata de principe pour une EKM fidèle et fournissons des orientations méthodologiques pour les recherches futures.

English

Multimodal knowledge editing (MKE) aims to correct the internal knowledge of large vision-language models after deployment, yet the behavioral patterns of post-edit models remain underexplored. In this paper, we identify a systemic failure mode in edited models, termed Entity Identity Confusion (EIC): edited models exhibit an absurd behavior where text-only queries about the original entity's identity unexpectedly return information about the new entity. To rigorously investigate EIC, we construct EC-Bench, a diagnostic benchmark that directly probes how image-entity bindings shift before and after editing. Our analysis reveals that EIC stems from existing methods failing to distinguish between Image-Entity (I-E) binding and Entity-Entity (E-E) relational knowledge in the model, causing models to overfit E-E associations as a shortcut: the image is still perceived as the original entity, with the new entity's name serving only as a spurious identity label. We further explore potential mitigation strategies, showing that constraining edits to the model's I-E processing stage encourages edits to act more faithfully on I-E binding, thereby substantially reducing EIC. Based on these findings, we discuss principled desiderata for faithful MKE and provide methodological guidance for future research.