Комплексное исследование редактирования знаний в крупных языковых моделях

A Comprehensive Study of Knowledge Editing for Large Language Models

January 2, 2024

Авторы: Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающиеся способности в понимании и генерации текста, который близко имитирует человеческое общение. Однако основное ограничение заключается в значительных вычислительных затратах во время обучения, вызванных их обширной параметризацией. Эта проблема усугубляется динамической природой мира, что требует частого обновления LLM для исправления устаревшей информации или интеграции новых знаний, обеспечивая их актуальность. Следует отметить, что многие приложения требуют постоянной корректировки моделей после обучения для устранения недостатков или нежелательного поведения. В последнее время растет интерес к эффективным и легковесным методам модификации моделей на лету. В связи с этим в последние годы активно развиваются методы редактирования знаний для LLM, которые направлены на эффективное изменение поведения моделей в определенных областях при сохранении общей производительности на различных входных данных. В данной статье мы сначала определяем проблему редактирования знаний, а затем предоставляем всесторонний обзор современных подходов. Вдохновляясь теориями из области образования и когнитивных исследований, мы предлагаем унифицированный критерий классификации, который разделяет методы редактирования знаний на три группы: использование внешних знаний, интеграция знаний в модель и редактирование внутренних знаний. Кроме того, мы представляем новый бенчмарк KnowEdit для всесторонней эмпирической оценки репрезентативных подходов к редактированию знаний. Дополнительно мы проводим углубленный анализ локализации знаний, который может дать более глубокое понимание структур знаний, присущих LLM. Наконец, мы обсуждаем несколько потенциальных приложений редактирования знаний, подчеркивая его широкие и значимые последствия.

English

Large Language Models (LLMs) have shown extraordinary capabilities in understanding and generating text that closely mirrors human communication. However, a primary limitation lies in the significant computational demands during training, arising from their extensive parameterization. This challenge is further intensified by the dynamic nature of the world, necessitating frequent updates to LLMs to correct outdated information or integrate new knowledge, thereby ensuring their continued relevance. Note that many applications demand continual model adjustments post-training to address deficiencies or undesirable behaviors. There is an increasing interest in efficient, lightweight methods for on-the-fly model modifications. To this end, recent years have seen a burgeoning in the techniques of knowledge editing for LLMs, which aim to efficiently modify LLMs' behaviors within specific domains while preserving overall performance across various inputs. In this paper, we first define the knowledge editing problem and then provide a comprehensive review of cutting-edge approaches. Drawing inspiration from educational and cognitive research theories, we propose a unified categorization criterion that classifies knowledge editing methods into three groups: resorting to external knowledge, merging knowledge into the model, and editing intrinsic knowledge. Furthermore, we introduce a new benchmark, KnowEdit, for a comprehensive empirical evaluation of representative knowledge editing approaches. Additionally, we provide an in-depth analysis of knowledge location, which can provide a deeper understanding of the knowledge structures inherent within LLMs. Finally, we discuss several potential applications of knowledge editing, outlining its broad and impactful implications.