Come i Modelli Linguistici di Grande Dimensione Acquisiscono Nuove Conoscenze? Una Prospettiva sui Circuiti di Conoscenza nell'Addestramento Continuo Precedente

How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training

February 16, 2025

Autori: Yixin Ou, Yunzhi Yao, Ningyu Zhang, Hui Jin, Jiacheng Sun, Shumin Deng, Zhenguo Li, Huajun Chen

cs.AI

Abstract

Nonostante le eccezionali capacità nei compiti ad alta intensità di conoscenza, i Large Language Models (LLM) presentano una lacuna critica nella comprensione di come internalizzano nuove conoscenze, in particolare su come incorporano strutturalmente le conoscenze acquisite nei loro calcoli neurali. Affrontiamo questo problema attraverso la lente dell'evoluzione dei circuiti di conoscenza, identificando sottografi computazionali che facilitano l'archiviazione e l'elaborazione delle conoscenze. La nostra analisi sistematica dell'evoluzione dei circuiti durante il pre-training continuo rivela diversi risultati chiave: (1) l'acquisizione di nuove conoscenze è influenzata dalla loro rilevanza rispetto alle conoscenze preesistenti; (2) l'evoluzione dei circuiti di conoscenza mostra un netto cambiamento di fase dalla formazione all'ottimizzazione; (3) l'evoluzione dei circuiti di conoscenza segue un modello che va dal profondo al superficiale. Queste intuizioni non solo avanzano la nostra comprensione teorica dei meccanismi di acquisizione di nuove conoscenze negli LLM, ma forniscono anche potenziali implicazioni per migliorare le strategie di pre-training continuo al fine di potenziare le prestazioni del modello. Codice e dati saranno disponibili su https://github.com/zjunlp/DynamicKnowledgeCircuits.

English

Despite exceptional capabilities in knowledge-intensive tasks, Large Language Models (LLMs) face a critical gap in understanding how they internalize new knowledge, particularly how to structurally embed acquired knowledge in their neural computations. We address this issue through the lens of knowledge circuit evolution, identifying computational subgraphs that facilitate knowledge storage and processing. Our systematic analysis of circuit evolution throughout continual pre-training reveals several key findings: (1) the acquisition of new knowledge is influenced by its relevance to pre-existing knowledge; (2) the evolution of knowledge circuits exhibits a distinct phase shift from formation to optimization; (3) the evolution of knowledge circuits follows a deep-to-shallow pattern. These insights not only advance our theoretical understanding of the mechanisms of new knowledge acquisition in LLMs, but also provide potential implications for improving continual pre-training strategies to enhance model performance. Code and data will be available at https://github.com/zjunlp/DynamicKnowledgeCircuits.