Wie erwerben LLMs neues Wissen? Eine Perspektive auf Wissenskreisläufe beim kontinuierlichen Vor-Training.

How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training

February 16, 2025

Autoren: Yixin Ou, Yunzhi Yao, Ningyu Zhang, Hui Jin, Jiacheng Sun, Shumin Deng, Zhenguo Li, Huajun Chen

cs.AI

Zusammenfassung

Trotz außergewöhnlicher Fähigkeiten bei wissensintensiven Aufgaben stehen Large Language Models (LLMs) vor einer entscheidenden Lücke im Verständnis, wie sie neues Wissen internalisieren, insbesondere wie sie erworbenes Wissen strukturell in ihre neuronalen Berechnungen einbetten. Wir behandeln dieses Problem aus der Perspektive der Wissensschaltkreis-Evolution, indem wir Rechenschaltkreise identifizieren, die die Speicherung und Verarbeitung von Wissen erleichtern. Unsere systematische Analyse der Schaltkreis-Evolution während des kontinuierlichen Vor-Trainings enthüllt mehrere wichtige Erkenntnisse: (1) Die Aneignung neuen Wissens wird von seiner Relevanz zum bereits vorhandenen Wissen beeinflusst; (2) Die Evolution von Wissensschaltkreisen zeigt eine deutliche Phasenverschiebung von der Bildung zur Optimierung; (3) Die Evolution von Wissensschaltkreisen folgt einem Muster von tief zu flach. Diese Erkenntnisse fördern nicht nur unser theoretisches Verständnis der Mechanismen des Erwerbs neuen Wissens in LLMs, sondern bieten auch potenzielle Implikationen zur Verbesserung von Strategien des kontinuierlichen Vor-Trainings zur Steigerung der Modellleistung. Code und Daten sind verfügbar unter https://github.com/zjunlp/DynamicKnowledgeCircuits.

English

Despite exceptional capabilities in knowledge-intensive tasks, Large Language Models (LLMs) face a critical gap in understanding how they internalize new knowledge, particularly how to structurally embed acquired knowledge in their neural computations. We address this issue through the lens of knowledge circuit evolution, identifying computational subgraphs that facilitate knowledge storage and processing. Our systematic analysis of circuit evolution throughout continual pre-training reveals several key findings: (1) the acquisition of new knowledge is influenced by its relevance to pre-existing knowledge; (2) the evolution of knowledge circuits exhibits a distinct phase shift from formation to optimization; (3) the evolution of knowledge circuits follows a deep-to-shallow pattern. These insights not only advance our theoretical understanding of the mechanisms of new knowledge acquisition in LLMs, but also provide potential implications for improving continual pre-training strategies to enhance model performance. Code and data will be available at https://github.com/zjunlp/DynamicKnowledgeCircuits.