대규모 언어 모델은 지속적 사전 학습 동안 개념을 어떻게 학습하는가?

초록

인간은 주로 개념(예: 개)을 통해 세계를 이해하는데, 이는 지각, 추론, 학습을 구조화하는 추상적 정신 표상이다. 그러나 대규모 언어 모델(LLM)이 지속적 사전 학습 과정에서 이러한 개념을 어떻게 습득하고, 유지하며, 망각하는지는 여전히 명확히 이해되지 않고 있다. 본 연구에서는 개별 개념의 습득과 망각 과정, 그리고 다중 개념 간 간섭과 시너지를 통한 상호작용을 분석한다. 우리는 이러한 행동 역학을 LLM의 내부 개념 회로(특정 개념과 연관된 계산적 하위 그래프)와 연결하고, 그래프 지표를 도입하여 회로 구조를 규명한다. 분석 결과는 다음과 같다: (1) LLM 개념 회로는 개념 학습 및 망각에 대한 통계적으로 유의미한 신호를 제공한다; (2) 개념 회로는 지속적 사전 학습 동안 단계적 시간 패턴(초기 증가 후 점진적 감소 및 안정화)을 보인다; (3) 더 큰 학습 이득을 보인 개념은 후속 훈련에서 더 큰 망각을 나타내는 경향이 있다; (4) 의미론적으로 유사한 개념은 약하게 연관된 개념보다 더 강한 간섭을 유발한다; (5) 개념적 지식은 전이 가능성에 차이가 있으며, 일부 개념은 다른 개념의 학습을 유의미하게 촉진한다. 종합적으로, 본 연구 결과는 개념 학습 역학에 대한 회로 수준의 시각을 제시하며, LLM을 위한 더 해석 가능하고 강건한 개념 인식 훈련 전략 설계에 기여한다.

English

Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.

대규모 언어 모델은 지속적 사전 학습 동안 개념을 어떻게 학습하는가?

How Do Large Language Models Learn Concepts During Continual Pre-Training?

초록

Support