RECALL: 階層的モデルマージによる表現整合性に基づく破滅的忘却軽減

要旨

大規模言語モデル（LLM）の内部表現は、学習済み知識の信頼性の高い代理指標として機能することを明らかにし、履歴データへのアクセスを必要としない継続学習のための新しい表現認識型モデル融合フレームワークRECALLを提案する。RECALLは、クラスタリングされた典型サンプルに対する層別の隠れ表現からモデル間類似度を計算し、適応的かつ階層的なパラメータ融合を実行してモデル間の知識を整合させる。この設計により、浅い層ではドメイン汎用特徴を保持しつつ、深い層ではタスク特化的な適応を可能にする。タスクラベルを必要とする従来手法や性能トレードオフを伴う手法とは異なり、RECALLはシームレスなマルチドメイン統合と破滅的忘念への強い耐性を実現する。5つのNLPタスクと複数の継続学習シナリオにおける大規模実験により、RECALLが知識保持と汎化性能の両方でベースラインを上回り、LLMの進化的発展に対するスケーラブルでデータ不要なソリューションを提供することを示す。

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.

RECALL: 階層的モデルマージによる表現整合性に基づく破滅的忘却軽減

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

要旨

Support