CaKE: Редактирование с учетом структуры схемы позволяет создавать универсальные модели для усвоения знаний

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Авторы: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Аннотация

Редактирование знаний (Knowledge Editing, KE) позволяет изменять устаревшую или некорректную информацию в больших языковых моделях (LLMs). Хотя существующие методы KE способны обновлять отдельные факты, они испытывают трудности с обобщением этих обновлений для задач многошагового рассуждения, которые зависят от измененных знаний. Анализируя цепи рассуждений — нейронные пути, которые LLMs используют для логического вывода на основе знаний, мы наблюдаем, что текущие подходы KE, локализованные на уровне слоев, такие как MEMIT и WISE, которые редактируют только один или несколько слоев модели, не могут эффективно интегрировать обновленную информацию в эти цепи рассуждений. Чтобы устранить это ограничение, мы предлагаем CaKE (Circuit-aware Knowledge Editing) — новый метод, который обеспечивает более эффективное внедрение обновленных знаний в LLMs. CaKE использует стратегически подготовленные данные, основанные на нашем анализе цепей, которые заставляют модель использовать измененные знания, стимулируя ее к формированию соответствующих цепей рассуждений для вновь интегрированных знаний. Экспериментальные результаты показывают, что CaKE обеспечивает более точное и последовательное использование обновленных знаний в связанных задачах рассуждения, что приводит к среднему улучшению точности многошагового рассуждения на 20% на наборе данных MQuAKE по сравнению с существующими методами KE. Мы публикуем код и данные по адресу https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.