¿Cómo adquieren los LLMs nuevos conocimientos? Una perspectiva de circuitos de conocimiento sobre el preentrenamiento continuo

How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training

February 16, 2025

Autores: Yixin Ou, Yunzhi Yao, Ningyu Zhang, Hui Jin, Jiacheng Sun, Shumin Deng, Zhenguo Li, Huajun Chen

cs.AI

Resumen

A pesar de las capacidades excepcionales en tareas intensivas en conocimiento, los Modelos de Lenguaje Grandes (LLMs) enfrentan una brecha crítica en la comprensión de cómo internalizan nuevo conocimiento, especialmente cómo incorporan estructuralmente el conocimiento adquirido en sus cálculos neuronales. Abordamos este problema a través del prisma de la evolución de circuitos de conocimiento, identificando subgrafos computacionales que facilitan el almacenamiento y procesamiento de conocimiento. Nuestro análisis sistemático de la evolución de circuitos a lo largo del pre-entrenamiento continuo revela varios hallazgos clave: (1) la adquisición de nuevo conocimiento está influenciada por su relevancia con el conocimiento preexistente; (2) la evolución de circuitos de conocimiento muestra un cambio de fase distintivo de la formación a la optimización; (3) la evolución de circuitos de conocimiento sigue un patrón de profundo a superficial. Estas percepciones no solo avanzan en nuestra comprensión teórica de los mecanismos de adquisición de nuevo conocimiento en LLMs, sino que también ofrecen posibles implicaciones para mejorar estrategias de pre-entrenamiento continuo para potenciar el rendimiento del modelo. El código y los datos estarán disponibles en https://github.com/zjunlp/DynamicKnowledgeCircuits.

English

Despite exceptional capabilities in knowledge-intensive tasks, Large Language Models (LLMs) face a critical gap in understanding how they internalize new knowledge, particularly how to structurally embed acquired knowledge in their neural computations. We address this issue through the lens of knowledge circuit evolution, identifying computational subgraphs that facilitate knowledge storage and processing. Our systematic analysis of circuit evolution throughout continual pre-training reveals several key findings: (1) the acquisition of new knowledge is influenced by its relevance to pre-existing knowledge; (2) the evolution of knowledge circuits exhibits a distinct phase shift from formation to optimization; (3) the evolution of knowledge circuits follows a deep-to-shallow pattern. These insights not only advance our theoretical understanding of the mechanisms of new knowledge acquisition in LLMs, but also provide potential implications for improving continual pre-training strategies to enhance model performance. Code and data will be available at https://github.com/zjunlp/DynamicKnowledgeCircuits.