CaKE: La Modifica Consapevole del Circuito Abilita Apprenditori di Conoscenza Generalizzabili

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Autori: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Abstract

La Modifica della Conoscenza (Knowledge Editing, KE) consente la modifica di informazioni obsolete o errate nei grandi modelli linguistici (Large Language Models, LLMs). Sebbene i metodi KE esistenti possano aggiornare fatti isolati, faticano a generalizzare questi aggiornamenti per compiti di ragionamento multi-hop che dipendono dalla conoscenza modificata. Attraverso un'analisi dei circuiti di ragionamento — i percorsi neurali che i LLMs utilizzano per l'inferenza basata sulla conoscenza — osserviamo che gli approcci KE attuali localizzati a livello di strato, come MEMIT e WISE, che modificano solo uno o pochi strati del modello, faticano a incorporare efficacemente le informazioni aggiornate in questi percorsi di ragionamento. Per affrontare questa limitazione, proponiamo CaKE (Circuit-aware Knowledge Editing), un metodo innovativo che consente un'integrazione più efficace della conoscenza aggiornata nei LLMs. CaKE sfrutta dati strategicamente curati, guidati dalla nostra analisi basata sui circuiti, che obbligano il modello a utilizzare la conoscenza modificata, stimolando il modello a sviluppare circuiti di ragionamento appropriati per la nuova conoscenza integrata. I risultati sperimentali mostrano che CaKE consente un uso più accurato e coerente della conoscenza aggiornata in compiti di ragionamento correlati, portando a un miglioramento medio del 20% nell'accuratezza del ragionamento multi-hop sul dataset MQuAKE rispetto ai metodi KE esistenti. Rilasciamo il codice e i dati su https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.