CaKE: Edição Consciente de Circuitos Permite Aprendizes de Conhecimento Generalizáveis

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Autores: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Resumo

A Edição de Conhecimento (Knowledge Editing, KE) permite a modificação de informações desatualizadas ou incorretas em modelos de linguagem de grande escala (Large Language Models, LLMs). Embora os métodos existentes de KE possam atualizar fatos isolados, eles têm dificuldade em generalizar essas atualizações para tarefas de raciocínio multi-hop que dependem do conhecimento modificado. Através de uma análise dos circuitos de raciocínio — os caminhos neurais que os LLMs utilizam para inferências baseadas em conhecimento —, observamos que as abordagens atuais de KE localizadas em camadas, como MEMIT e WISE, que editam apenas uma ou poucas camadas do modelo, têm dificuldade em incorporar efetivamente as informações atualizadas nesses circuitos de raciocínio. Para superar essa limitação, propomos o CaKE (Circuit-aware Knowledge Editing), um método inovador que permite uma integração mais eficaz do conhecimento atualizado em LLMs. O CaKE utiliza dados estrategicamente selecionados, guiados por nossa análise baseada em circuitos, que forçam o modelo a utilizar o conhecimento modificado, estimulando-o a desenvolver circuitos de raciocínio apropriados para o novo conhecimento integrado. Resultados experimentais mostram que o CaKE permite um uso mais preciso e consistente do conhecimento atualizado em tarefas de raciocínio relacionadas, levando a uma melhoria média de 20% na precisão de raciocínio multi-hop no conjunto de dados MQuAKE em comparação com os métodos existentes de KE. Disponibilizamos o código e os dados em https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.