Hoe Verwerven LLM's Nieuwe Kennis? Een Kennis Circuits Perspectief op Continu Vooraf Trainen

How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training

February 16, 2025

Auteurs: Yixin Ou, Yunzhi Yao, Ningyu Zhang, Hui Jin, Jiacheng Sun, Shumin Deng, Zhenguo Li, Huajun Chen

cs.AI

Samenvatting

Ondanks uitzonderlijke mogelijkheden in kennisintensieve taken, staan Grote Taalmodellen (LLMs) voor een kritische kloof in begrip van hoe ze nieuwe kennis internaliseren, met name hoe ze verworven kennis structureel inbedden in hun neurale berekeningen. We pakken dit probleem aan door de lens van kenniscircuitevolutie, waarbij we computationele subgraphen identificeren die kennisopslag en -verwerking faciliteren. Onze systematische analyse van circuitevolutie gedurende voortdurende voorafgaande training onthult verschillende belangrijke bevindingen: (1) de verwerving van nieuwe kennis wordt beïnvloed door de relevantie ervan voor reeds bestaande kennis; (2) de evolutie van kenniscircuits vertoont een duidelijke faseverschuiving van vorming naar optimalisatie; (3) de evolutie van kenniscircuits volgt een diep-naar-ondiep patroon. Deze inzichten bevorderen niet alleen ons theoretisch begrip van de mechanismen van nieuwe kennisverwerving in LLMs, maar bieden ook mogelijke implicaties voor het verbeteren van voortdurende voorafgaande trainingstrategieën om de modelprestaties te verbeteren. Code en gegevens zullen beschikbaar zijn op https://github.com/zjunlp/DynamicKnowledgeCircuits.

English

Despite exceptional capabilities in knowledge-intensive tasks, Large Language Models (LLMs) face a critical gap in understanding how they internalize new knowledge, particularly how to structurally embed acquired knowledge in their neural computations. We address this issue through the lens of knowledge circuit evolution, identifying computational subgraphs that facilitate knowledge storage and processing. Our systematic analysis of circuit evolution throughout continual pre-training reveals several key findings: (1) the acquisition of new knowledge is influenced by its relevance to pre-existing knowledge; (2) the evolution of knowledge circuits exhibits a distinct phase shift from formation to optimization; (3) the evolution of knowledge circuits follows a deep-to-shallow pattern. These insights not only advance our theoretical understanding of the mechanisms of new knowledge acquisition in LLMs, but also provide potential implications for improving continual pre-training strategies to enhance model performance. Code and data will be available at https://github.com/zjunlp/DynamicKnowledgeCircuits.