시상체 라우팅 피질 칼럼을 통한 언어 모델의 효율적 연속 학습

Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns

February 25, 2026

저자: Afshin Khadangi

cs.AI

초록

지속 학습은 배포된 언어 모델의 핵심 요구사항이지만, 표준 학습 및 미세 조정 파이프라인은 비정상 데이터 환경에서 취약성을 보입니다. 온라인 업데이트는 종종 파국적 망각을 유발하는 반면, 안정성을 향상시키는 방법들은 긴 문맥에 효과적으로 확장되지 않는 방식으로 지연 시간, 메모리 사용량 또는 집중 계산을 증가시키는 경우가 많습니다. 본 논문에서는 아키텍처 수준에서 지속 학습을 해결하는 디코더 전용 백본인 TRC²(시상 라우팅 피질 컬럼)을 소개합니다. TRC²는 피질 컬럼에 대한 희소 시상 라우팅을 변조, 예측, 기억, 피드백 메커니즘과 결합하고, 느린 매개변수를 불안정하게 만들지 않으면서 빠른 적응을 지원하는 신속 교정 경로를 포함합니다. 결과적인 블록은 희소성과 청크 병렬 처리를 통해 효율적인 학습과 추론을 가능하게 하며 각 하위 시스템의 명확한 절제 연구를 보존합니다. 우리는 재현 가능한 학습 및 평가 스택과 스트리밍 도메인 변화 하에서 프록시 망각을 측정하는 지속 학습 헤드니스를 구현합니다. 언어 모델링 및 지속 학습 벤치마크 전반에 걸쳐 TRC²는 유사한 연산 비용 대비 안정성-가소성 트레이드오프를 개선하여 기존에 습득한 행동을 보존하면서도 스트림 상에서의 빠른 적응을 가능하게 합니다.

English

Continual learning is a core requirement for deployed language models, yet standard training and fine-tuning pipelines remain brittle under non-stationary data. Online updates often induce catastrophic forgetting, while methods that improve stability frequently increase latency, memory footprint, or dense computation in ways that do not scale well to long contexts. We introduce TRC^{2} (Thalamically Routed Cortical Columns), a decoder-only backbone that addresses continual learning at the architectural level. TRC^{2} combines sparse thalamic routing over cortical columns with mechanisms for modulation, prediction, memory, and feedback, together with a fast corrective pathway that supports rapid adaptation without destabilizing slower parameters. The resulting block is sparse and chunk-parallel, enabling efficient training and inference while preserving clean ablations of each subsystem. We instantiate a reproducible training and evaluation stack and a continual-learning harness that measures proxy forgetting under streaming domain shifts. Across language modeling and continual learning benchmarks, TRC^{2} improves the stability-plasticity tradeoff at comparable compute, enabling rapid on-stream adaptation while preserving previously acquired behavior.