¿Cómo Aprenden Conceptos los Modelos de Lenguaje a Gran Escala Durante el Preentrenamiento Continuo?
How Do Large Language Models Learn Concepts During Continual Pre-Training?
January 7, 2026
Autores: Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang
cs.AI
Resumen
Los seres humanos comprenden el mundo principalmente a través de conceptos (por ejemplo, "perro"), representaciones mentales abstractas que estructuran la percepción, el razonamiento y el aprendizaje. Sin embargo, se comprende poco cómo los grandes modelos de lenguaje (LLMs) adquieren, retienen y olvidan dichos conceptos durante el preentrenamiento continuo. En este trabajo, estudiamos cómo se adquieren y olvidan conceptos individuales, así como cómo múltiples conceptos interactúan mediante interferencia y sinergia. Vinculamos estas dinámicas conductuales con los Circuitos Conceptuales internos de los LLMs, subgrafos computacionales asociados a conceptos específicos, e incorporamos Métricas de Grafo para caracterizar la estructura del circuito. Nuestro análisis revela: (1) Los circuitos conceptuales de los LLMs proporcionan una señal no trivial y estadísticamente significativa del aprendizaje y olvido de conceptos; (2) Los circuitos conceptuales exhiben un patrón temporal por etapas durante el preentrenamiento continuo, con un aumento inicial seguido de una disminución gradual y estabilización; (3) Los conceptos con mayores ganancias de aprendizaje tienden a exhibir un mayor olvido durante el entrenamiento posterior; (4) Los conceptos semánticamente similares inducen una interferencia más fuerte que los débilmente relacionados; (5) El conocimiento conceptual difiere en su transferibilidad, facilitando algunos significativamente el aprendizaje de otros. En conjunto, nuestros hallazgos ofrecen una visión a nivel de circuito de la dinámica del aprendizaje conceptual e informan el diseño de estrategias de entrenamiento más interpretables y robustas conscientes de los conceptos para los LLMs.
English
Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.