Wie lernen große Sprachmodelle Konzepte während des kontinuierlichen Vortrainierens?
How Do Large Language Models Learn Concepts During Continual Pre-Training?
January 7, 2026
papers.authors: Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang
cs.AI
papers.abstract
Menschen verstehen die Welt primär durch Konzepte (z.B. Hund) – abstrakte mentale Repräsentationen, die Wahrnehmung, Denken und Lernen strukturieren. Wie große Sprachmodelle (LLMs) solche Konzepte während kontinuierlichen Vortrainings erwerben, behalten und vergessen, ist jedoch noch weitgehend unverstanden. In dieser Arbeit untersuchen wir, wie einzelne Konzepte erlernt und vergessen werden sowie wie mehrere Konzepte durch Interferenz und Synergie interagieren. Wir verknüpfen diese Verhaltensdynamiken mit internen Konzeptschaltkreisen der LLMs – rechnerische Teilgraphen, die mit spezifischen Konzepten assoziiert sind – und integrieren Graphmetriken zur Charakterisierung der Schaltkreisstruktur. Unsere Analyse zeigt: (1) Konzeptschaltkreise von LLMs liefern ein nicht-triviales, statistisch signifikantes Signal für Konzeptlernen und -vergessen; (2) Konzeptschaltkreise zeigen während kontinuierlichen Vortrainings ein stufenweises zeitliches Muster mit frühem Anstieg, gefolgt von gradueller Abnahme und Stabilisierung; (3) Konzepte mit größeren Lernzuwächsen neigen zu stärkerem Vergessen bei nachfolgendem Training; (4) semantisch ähnliche Konzepte verursachen stärkere Interferenz als schwach verwandte; (5) konzeptuelles Wissen unterscheidet sich in seiner Übertragbarkeit, wobei einige Konzepte das Lernen anderer signifikant erleichtern. Zusammengenommen bieten unsere Ergebnisse eine schaltkreisebene Sicht auf die Dynamik des Konzeptlernens und liefern Grundlagen für die Gestaltung interpretierbarerer und robusterer konzeptbewusster Trainingsstrategien für LLMs.
English
Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.