Como os Grandes Modelos de Linguagem Aprendem Conceitos Durante o Pré-Treinamento Contínuo?
How Do Large Language Models Learn Concepts During Continual Pre-Training?
January 7, 2026
Autores: Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang
cs.AI
Resumo
Os seres humanos compreendem o mundo principalmente através de conceitos (por exemplo, "cão"), representações mentais abstratas que estruturam a percepção, o raciocínio e a aprendizagem. No entanto, a forma como os grandes modelos de linguagem (LLMs) adquirem, retêm e esquecem esses conceitos durante o pré-treinamento contínuo permanece pouco compreendida. Neste trabalho, estudamos como conceitos individuais são adquiridos e esquecidos, bem como como múltiplos conceitos interagem através de interferência e sinergia. Ligamos essas dinâmicas comportamentais aos Circuitos de Conceito internos dos LLMs, subgrafos computacionais associados a conceitos específicos, e incorporamos Métricas de Grafo para caracterizar a estrutura do circuito. Nossa análise revela: (1) Os circuitos de conceito dos LLMs fornecem um sinal não trivial e estatisticamente significativo da aprendizagem e do esquecimento de conceitos; (2) Os circuitos de conceito exibem um padrão temporal em fases durante o pré-treinamento contínuo, com um aumento inicial seguido de uma diminuição gradual e estabilização; (3) Conceitos com maiores ganhos de aprendizagem tendem a exibir maior esquecimento sob treinamento subsequente; (4) Conceitos semanticamente similares induzem interferência mais forte do que conceitos fracamente relacionados; (5) O conhecimento conceptual difere na sua transferibilidade, com alguns a facilitar significativamente a aprendizagem de outros. Em conjunto, os nossos resultados oferecem uma visão ao nível do circuito da dinâmica da aprendizagem de conceitos e informam o desenho de estratégias de treino mais interpretáveis e robustas, conscientes dos conceitos, para LLMs.
English
Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.