RECALL: Representatie-uitgelijnde verlichting van catastrofale vergetelheid via hiërarchisch model-samenvoegen

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

October 23, 2025

Auteurs: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang

cs.AI

Samenvatting

Wij tonen aan dat interne representaties in grote taalmodellen (LLM's) betrouwbare indicatoren zijn van aangeleerde kennis, en introduceren RECALL, een nieuw representatiebewust modelmergingsraamwerk voor continu leren zonder toegang tot historische data. RECALL berekent inter-modelgelijkenis op basis van gelaagde verborgen representaties over gegroepeerde typische voorbeelden, en voert adaptieve, hiërarchische parameterfusie uit om kennis tussen modellen af te stemmen. Dit ontwerp maakt het mogelijk domeingenerieke kenmerken in ondiepe lagen te behouden, terwijl taakspecifieke aanpassing in diepere lagen mogelijk blijft. In tegenstelling tot eerdere methoden die taaklabels vereisen of prestatieverlies met zich meebrengen, bereikt RECALL naadloze multi-domeïntegratie en sterke weerstand tegen catastrofaal vergeten. Uitgebreide experimenten met vijf NLP-taken en meerdere continu-leerscenario's tonen aan dat RECALL baseline-methoden overtreft in zowel kennisretentie als generalisatie, en biedt zo een schaalbare en datavrije oplossing voor de evolutie van LLM's.

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.