CaKE: Circuitbewust Bewerken Maakt Generaliseerbare Kennissystemen Mogelijk

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Auteurs: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Samenvatting

Kennisbewerking (Knowledge Editing, KE) maakt het mogelijk om verouderde of incorrecte informatie in grote taalmodellen (Large Language Models, LLMs) aan te passen. Hoewel bestaande KE-methoden geïsoleerde feiten kunnen bijwerken, hebben ze moeite om deze updates te generaliseren naar multi-hop redeneertaken die afhankelijk zijn van de aangepaste kennis. Door een analyse van redeneercircuits — de neurale paden die LLMs gebruiken voor kennisgebaseerde inferentie — observeren we dat huidige laaggelokaliseerde KE-benaderingen, zoals MEMIT en WISE, die slechts één of enkele modellagen bewerken, moeite hebben om de bijgewerkte informatie effectief in deze redeneerpaden te integreren. Om deze beperking aan te pakken, stellen we CaKE (Circuit-aware Knowledge Editing) voor, een nieuwe methode die een effectievere integratie van bijgewerkte kennis in LLMs mogelijk maakt. CaKE maakt gebruik van strategisch samengestelde data, geleid door onze circuitgebaseerde analyse, die het model dwingt om de aangepaste kennis te gebruiken, waardoor het model gestimuleerd wordt om geschikte redeneercircuits te ontwikkelen voor nieuw geïntegreerde kennis. Experimentele resultaten tonen aan dat CaKE een nauwkeuriger en consistenter gebruik van bijgewerkte kennis mogelijk maakt in gerelateerde redeneertaken, wat leidt tot een gemiddelde verbetering van 20% in de nauwkeurigheid van multi-hop redeneren op de MQuAKE-dataset in vergelijking met bestaande KE-methoden. We hebben de code en data vrijgegeven op https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.