継続学習の移行

要旨

古典的な継続学習（CL）は、主にモデルが知識を更新・保持することを可能にするパラメータ中心のメカニズム、例えば学習戦略、アーキテクチャ設計、重み適応などに焦点を当ててきた。しかし、新たなパラダイムが出現し、従来のモデル適応という視点を超えてCLの射程を再形成しつつある。例えば、オン方策学習は更新メカニズムの空間を拡張し、テスト時訓練はCLを学習フェーズから推論フェーズへと拡大し、メモリ、スキルライブラリ、対話プロトコルなどの外部ハーネス構成要素は、モデル能力の進化的境界を静的なパラメータ空間をはるかに超えて拡張する。総体的に、これらの発展はパラメータ中心の学習からシステムレベルの適応への移行を示している。この移行を特徴づけるため、我々は継続学習の進化を「いつ（When）、どのように（How）、どこで（Where）」学習が生じるかという三つの次元を通して考察する。How次元は、オフ方策、オン方策、および勾配を超えた最適化メカニズムを包含する。When次元は、事前学習、事後学習、推論時の各段階にわたる進化を捉える。Where次元は、内部パラメータ内で生じる更新と外部の構造的制約内で生じる更新を区別する。この三軸フレームワークに基づき、我々は代表的な手法を体系的に調査し、継続学習の進行中の移行を追跡し、このパラダイムシフトから生じる主要な課題、より広範な含意、および将来の方向性について議論する。

English

Classical continual learning (CL) has primarily focused on enabling models to update and retain knowledge through parameter-centric mechanisms, e.g., training strategies, architectural designs, and weight adaptation. However, emerging paradigms are reshaping the scope of CL beyond this traditional model adaptation view. For instance, on-policy learning broadens the space of update mechanisms; test-time training extends CL from the training phase to inference; and external harness components such as memory, skill libraries, and interaction protocols extend the evolutionary boundaries of model capabilities far beyond the static parameter space. Collectively, these developments indicate a transition from parameter-centric learning toward system-level adaptation. To characterize this transition, we examine the evolution of continual learning through three dimensions: When, How, and Where learning occurs. The How dimension encompasses off-policy, on-policy, and beyond-gradient optimization mechanics. The When dimension captures evolution across pre-training, post-training, and inference-time stages. The Where dimension delineates updates occurring within internal parameters versus external structural constraints. Anchored by this tri-axial framework, we systematically survey representative methods, trace the ongoing transition of continual learning, and discuss the key challenges, broader implications, and future directions arising from this paradigm shift.