CaKE: 回路認識編集による汎用知識学習器の実現

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

著者: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

要旨

知識編集（Knowledge Editing, KE）は、大規模言語モデル（LLMs）内の古くなったまたは誤った情報を修正することを可能にします。既存のKE手法は孤立した事実を更新できますが、修正された知識に依存するマルチホップ推論タスクにこれらの更新を一般化するのに苦労しています。推論回路（reasoning circuits）——LLMsが知識ベースの推論に使用する神経経路——の分析を通じて、現在の層局所的なKEアプローチ（例えばMEMITやWISE）が、単一または少数のモデル層のみを編集するため、更新された情報をこれらの推論経路に効果的に組み込むのに苦労していることが観察されます。この制限に対処するため、我々はCaKE（Circuit-aware Knowledge Editing）を提案します。これは、LLMs内で更新された知識をより効果的に統合する新しい手法です。CaKEは、回路ベースの分析に基づいて戦略的に選ばれたデータを活用し、モデルに修正された知識を利用させ、新たに統合された知識に対する適切な推論回路を開発するよう促します。実験結果は、CaKEが関連する推論タスク全体で更新された知識をより正確かつ一貫して使用することを可能にし、MQuAKEデータセットにおけるマルチホップ推論精度が既存のKE手法と比較して平均20％向上することを示しています。コードとデータはhttps://github.com/zjunlp/CaKEで公開しています。

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.