Как крупные языковые модели усваивают концепции в процессе непрерывного дообучения?

How Do Large Language Models Learn Concepts During Continual Pre-Training?

January 7, 2026

Авторы: Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang

cs.AI

Аннотация

Люди познают мир в первую очередь через концепты (например, «собака») — абстрактные ментальные репрезентации, которые структурируют восприятие, мышление и обучение. Однако то, как большие языковые модели (LLM) приобретают, сохраняют и забывают такие концепты в процессе непрерывного дообучения, остается слабо изученным. В данной работе мы исследуем, как отдельные концепты усваиваются и забываются, а также как множественные концепты взаимодействуют через интерференцию и синергию. Мы связываем эти поведенческие динамики с внутренними концептуальными схемами LLM — вычислительными подграфами, ассоциированными с конкретными концептами, и используем метрики графов для характеристики структуры схем. Наш анализ показывает: (1) концептуальные схемы LLM дают нетривиальный, статистически значимый сигнал об изучении и забывании концептов; (2) концептуальные схемы демонстрируют стадийный временной паттерн в ходе непрерывного дообучения: первоначальное усиление с последующим постепенным ослаблением и стабилизацией; (3) концепты с большим приростом знаний при обучении склонны к более сильному забыванию при последующем обучении; (4) семантически близкие концепты вызывают более сильную интерференцию, чем слабо связанные; (5) концептуальные знания различаются по способности к переносу, причем некоторые из них значимо облегчают изучение других. В совокупности наши результаты предлагают взгляд на динамику изучения концептов на уровне вычислительных схем и открывают пути к созданию более интерпретируемых и устойчивых стратегий обучения LLM, учитывающих концепты.

English

Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.