言語モデルにおける視床経由皮質カラムを介した効率的継続学習

要旨

継続学習は、実運用環境における言語モデルの核心的な要件であるが、標準的な訓練およびファインチューニングのパイプラインは、非定常データ下では依然として脆弱である。オンライン更新はしばしば破滅的忘卻を引き起こす一方、安定性を向上させる手法は、遅延、メモリフットプリント、または高密度な計算を増加させ、長文脈へのスケーリングが困難な場合が多い。本論文では、TRC²（視床経由皮質カラム）を提案する。これは、継続学習をアーキテクチャレベルで扱うデコーダのみのバックボーンである。TRC²は、皮質カラムに対する疎な視床経路制御と、変調、予測、記憶、フィードバックのメカニズム、さらに遅いパラメータを不安定化させることなく迅速な適応を可能にする高速補正経路を組み合わせている。結果として得られるブロックは疎でチャンク並列処理が可能であり、各サブシステムの明確なアブレーションを維持しつつ、効率的な訓練と推論を実現する。我々は再現可能な訓練・評価スタックと、ストリーミングするドメインシフト下での代理忘卻を測定する継続学習ハーネスを構築した。言語モデリングおよび継続学習ベンチマークにおいて、TRC²は同等の計算量で安定性と可塑性のトレードオフを改善し、過去に獲得した振る舞いを保持しながら迅速なオンストリーム適応を可能にする。

English

Continual learning is a core requirement for deployed language models, yet standard training and fine-tuning pipelines remain brittle under non-stationary data. Online updates often induce catastrophic forgetting, while methods that improve stability frequently increase latency, memory footprint, or dense computation in ways that do not scale well to long contexts. We introduce TRC^{2} (Thalamically Routed Cortical Columns), a decoder-only backbone that addresses continual learning at the architectural level. TRC^{2} combines sparse thalamic routing over cortical columns with mechanisms for modulation, prediction, memory, and feedback, together with a fast corrective pathway that supports rapid adaptation without destabilizing slower parameters. The resulting block is sparse and chunk-parallel, enabling efficient training and inference while preserving clean ablations of each subsystem. We instantiate a reproducible training and evaluation stack and a continual-learning harness that measures proxy forgetting under streaming domain shifts. Across language modeling and continual learning benchmarks, TRC^{2} improves the stability-plasticity tradeoff at comparable compute, enabling rapid on-stream adaptation while preserving previously acquired behavior.

言語モデルにおける視床経由皮質カラムを介した効率的継続学習

Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns

要旨

Support