CaKE: Edición Consciente del Circuito Permite Aprendices de Conocimiento Generalizables

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Autores: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Resumen

La Edición de Conocimiento (Knowledge Editing, KE) permite la modificación de información obsoleta o incorrecta en modelos de lenguaje de gran escala (LLMs). Si bien los métodos existentes de KE pueden actualizar hechos aislados, tienen dificultades para generalizar estas actualizaciones a tareas de razonamiento de múltiples pasos que dependen del conocimiento modificado. A través de un análisis de los circuitos de razonamiento —las vías neuronales que los LLMs utilizan para la inferencia basada en conocimiento—, observamos que los enfoques actuales de KE localizados en capas, como MEMIT y WISE, que editan solo una o pocas capas del modelo, tienen dificultades para incorporar efectivamente la información actualizada en estos circuitos de razonamiento. Para abordar esta limitación, proponemos CaKE (Circuit-aware Knowledge Editing), un método novedoso que permite una integración más efectiva del conocimiento actualizado en los LLMs. CaKE aprovecha datos estratégicamente seleccionados, guiados por nuestro análisis basado en circuitos, que obligan al modelo a utilizar el conocimiento modificado, estimulando al modelo a desarrollar circuitos de razonamiento apropiados para el conocimiento recién integrado. Los resultados experimentales muestran que CaKE permite un uso más preciso y consistente del conocimiento actualizado en tareas de razonamiento relacionadas, logrando una mejora promedio del 20% en la precisión de razonamiento de múltiples pasos en el conjunto de datos MQuAKE en comparación con los métodos de KE existentes. Publicamos el código y los datos en https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.