Un Estudio Exhaustivo sobre la Edición de Conocimiento en Modelos de Lenguaje a Gran Escala

A Comprehensive Study of Knowledge Editing for Large Language Models

January 2, 2024

Autores: Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades extraordinarias para comprender y generar texto que se asemeja estrechamente a la comunicación humana. Sin embargo, una limitación principal radica en las demandas computacionales significativas durante el entrenamiento, derivadas de su extensa parametrización. Este desafío se ve aún más intensificado por la naturaleza dinámica del mundo, lo que requiere actualizaciones frecuentes de los LLMs para corregir información obsoleta o integrar nuevos conocimientos, asegurando así su relevancia continua. Cabe destacar que muchas aplicaciones exigen ajustes continuos del modelo después del entrenamiento para abordar deficiencias o comportamientos no deseados. Existe un creciente interés en métodos eficientes y ligeros para realizar modificaciones del modelo sobre la marcha. En este sentido, en los últimos años ha surgido un auge en las técnicas de edición de conocimiento para LLMs, que buscan modificar eficientemente los comportamientos de los LLMs en dominios específicos mientras se preserva su rendimiento general en diversas entradas. En este artículo, primero definimos el problema de la edición de conocimiento y luego proporcionamos una revisión exhaustiva de los enfoques más avanzados. Inspirándonos en teorías de investigación educativa y cognitiva, proponemos un criterio de categorización unificado que clasifica los métodos de edición de conocimiento en tres grupos: recurrir a conocimiento externo, fusionar conocimiento en el modelo y editar conocimiento intrínseco. Además, presentamos un nuevo punto de referencia, KnowEdit, para una evaluación empírica integral de enfoques representativos de edición de conocimiento. Adicionalmente, ofrecemos un análisis en profundidad de la localización del conocimiento, lo que puede proporcionar una comprensión más profunda de las estructuras de conocimiento inherentes en los LLMs. Finalmente, discutimos varias aplicaciones potenciales de la edición de conocimiento, destacando sus implicaciones amplias y significativas.

English

Large Language Models (LLMs) have shown extraordinary capabilities in understanding and generating text that closely mirrors human communication. However, a primary limitation lies in the significant computational demands during training, arising from their extensive parameterization. This challenge is further intensified by the dynamic nature of the world, necessitating frequent updates to LLMs to correct outdated information or integrate new knowledge, thereby ensuring their continued relevance. Note that many applications demand continual model adjustments post-training to address deficiencies or undesirable behaviors. There is an increasing interest in efficient, lightweight methods for on-the-fly model modifications. To this end, recent years have seen a burgeoning in the techniques of knowledge editing for LLMs, which aim to efficiently modify LLMs' behaviors within specific domains while preserving overall performance across various inputs. In this paper, we first define the knowledge editing problem and then provide a comprehensive review of cutting-edge approaches. Drawing inspiration from educational and cognitive research theories, we propose a unified categorization criterion that classifies knowledge editing methods into three groups: resorting to external knowledge, merging knowledge into the model, and editing intrinsic knowledge. Furthermore, we introduce a new benchmark, KnowEdit, for a comprehensive empirical evaluation of representative knowledge editing approaches. Additionally, we provide an in-depth analysis of knowledge location, which can provide a deeper understanding of the knowledge structures inherent within LLMs. Finally, we discuss several potential applications of knowledge editing, outlining its broad and impactful implications.