CaKE : L'édition prenant en compte les circuits permet des apprenants de connaissances généralisables

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Auteurs: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Résumé

L'édition de connaissances (Knowledge Editing, KE) permet de modifier les informations obsolètes ou incorrectes dans les grands modèles de langage (LLMs). Bien que les méthodes existantes de KE puissent mettre à jour des faits isolés, elles peinent à généraliser ces mises à jour pour des tâches de raisonnement multi-étapes qui dépendent des connaissances modifiées. À travers une analyse des circuits de raisonnement — les voies neuronales que les LLMs utilisent pour l'inférence basée sur les connaissances —, nous observons que les approches actuelles de KE localisées par couches, telles que MEMIT et WISE, qui ne modifient qu'une seule ou quelques couches du modèle, ont du mal à intégrer efficacement les informations mises à jour dans ces circuits de raisonnement. Pour pallier cette limitation, nous proposons CaKE (Circuit-aware Knowledge Editing), une méthode novatrice qui permet une intégration plus efficace des connaissances mises à jour dans les LLMs. CaKE s'appuie sur des données stratégiquement sélectionnées, guidées par notre analyse basée sur les circuits, qui obligent le modèle à utiliser les connaissances modifiées, stimulant ainsi le développement de circuits de raisonnement appropriés pour les nouvelles connaissances intégrées. Les résultats expérimentaux montrent que CaKE permet une utilisation plus précise et cohérente des connaissances mises à jour dans des tâches de raisonnement connexes, conduisant à une amélioration moyenne de 20 % de la précision du raisonnement multi-étapes sur le jeu de données MQuAKE par rapport aux méthodes de KE existantes. Nous mettons à disposition le code et les données sur https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.