Uno Studio Completo sulla Modifica della Conoscenza nei Modelli Linguistici di Grande Dimensione

A Comprehensive Study of Knowledge Editing for Large Language Models

January 2, 2024

Autori: Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità straordinarie nel comprendere e generare testi che rispecchiano da vicino la comunicazione umana. Tuttavia, una limitazione principale risiede nelle significative richieste computazionali durante l'addestramento, derivanti dalla loro estesa parametrizzazione. Questa sfida è ulteriormente intensificata dalla natura dinamica del mondo, che richiede aggiornamenti frequenti degli LLM per correggere informazioni obsolete o integrare nuove conoscenze, garantendo così la loro continua rilevanza. Si noti che molte applicazioni richiedono continui aggiustamenti del modello post-addestramento per affrontare carenze o comportamenti indesiderati. C'è un interesse crescente verso metodi efficienti e leggeri per modificare i modelli in tempo reale. A tal fine, negli ultimi anni si è assistito a una proliferazione di tecniche di modifica della conoscenza per gli LLM, che mirano a modificare in modo efficiente i comportamenti degli LLM in domini specifici preservando le prestazioni complessive su vari input. In questo articolo, definiamo innanzitutto il problema della modifica della conoscenza e forniamo una revisione completa degli approcci all'avanguardia. Traendo ispirazione dalle teorie della ricerca educativa e cognitiva, proponiamo un criterio di categorizzazione unificato che classifica i metodi di modifica della conoscenza in tre gruppi: ricorso a conoscenze esterne, integrazione della conoscenza nel modello e modifica della conoscenza intrinseca. Inoltre, introduciamo un nuovo benchmark, KnowEdit, per una valutazione empirica completa degli approcci rappresentativi di modifica della conoscenza. Forniamo inoltre un'analisi approfondita della localizzazione della conoscenza, che può offrire una comprensione più profonda delle strutture di conoscenza intrinseche negli LLM. Infine, discutiamo diverse potenziali applicazioni della modifica della conoscenza, delineandone le ampie e significative implicazioni.

English

Large Language Models (LLMs) have shown extraordinary capabilities in understanding and generating text that closely mirrors human communication. However, a primary limitation lies in the significant computational demands during training, arising from their extensive parameterization. This challenge is further intensified by the dynamic nature of the world, necessitating frequent updates to LLMs to correct outdated information or integrate new knowledge, thereby ensuring their continued relevance. Note that many applications demand continual model adjustments post-training to address deficiencies or undesirable behaviors. There is an increasing interest in efficient, lightweight methods for on-the-fly model modifications. To this end, recent years have seen a burgeoning in the techniques of knowledge editing for LLMs, which aim to efficiently modify LLMs' behaviors within specific domains while preserving overall performance across various inputs. In this paper, we first define the knowledge editing problem and then provide a comprehensive review of cutting-edge approaches. Drawing inspiration from educational and cognitive research theories, we propose a unified categorization criterion that classifies knowledge editing methods into three groups: resorting to external knowledge, merging knowledge into the model, and editing intrinsic knowledge. Furthermore, we introduce a new benchmark, KnowEdit, for a comprehensive empirical evaluation of representative knowledge editing approaches. Additionally, we provide an in-depth analysis of knowledge location, which can provide a deeper understanding of the knowledge structures inherent within LLMs. Finally, we discuss several potential applications of knowledge editing, outlining its broad and impactful implications.