Meccanismi della Conoscenza nei Modelli Linguistici di Grande Scala: Una Rassegna e Prospettiva
Knowledge Mechanisms in Large Language Models: A Survey and Perspective
July 22, 2024
Autori: Mengru Wang, Yunzhi Yao, Ziwen Xu, Shuofei Qiao, Shumin Deng, Peng Wang, Xiang Chen, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang
cs.AI
Abstract
Comprendere i meccanismi della conoscenza nei Large Language Models (LLMs) è fondamentale per progredire verso un'AGI affidabile. Questo articolo esamina l'analisi dei meccanismi della conoscenza attraverso una nuova tassonomia che include l'utilizzo e l'evoluzione della conoscenza. L'utilizzo della conoscenza approfondisce i meccanismi di memorizzazione, comprensione, applicazione e creazione. L'evoluzione della conoscenza si concentra sulla progressione dinamica della conoscenza all'interno di LLM individuali e di gruppo. Inoltre, discutiamo quale conoscenza gli LLM hanno appreso, le ragioni della fragilità della conoscenza parametrica e la potenziale conoscenza oscura (ipotesi) che sarà difficile da affrontare. Speriamo che questo lavoro possa contribuire a comprendere la conoscenza negli LLM e fornire spunti per future ricerche.
English
Understanding knowledge mechanisms in Large Language Models (LLMs) is crucial
for advancing towards trustworthy AGI. This paper reviews knowledge mechanism
analysis from a novel taxonomy including knowledge utilization and evolution.
Knowledge utilization delves into the mechanism of memorization, comprehension
and application, and creation. Knowledge evolution focuses on the dynamic
progression of knowledge within individual and group LLMs. Moreover, we discuss
what knowledge LLMs have learned, the reasons for the fragility of parametric
knowledge, and the potential dark knowledge (hypothesis) that will be
challenging to address. We hope this work can help understand knowledge in LLMs
and provide insights for future research.