RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

papers.abstract

Wir zeigen auf, dass interne Repräsentationen in großen Sprachmodellen (LLMs) als zuverlässige Stellvertreter für erlerntes Wissen dienen, und schlagen RECALL vor – einen neuartigen, repräsentationsbewussten Modellzusammenführungsrahmen für kontinuierliches Lernen ohne Zugriff auf historische Daten. RECALL berechnet Ähnlichkeiten zwischen Modellen anhand schichtenweiser versteckter Repräsentationen über gruppierte typische Stichproben und führt eine adaptive, hierarchische Parameterfusion durch, um Wissen über Modelle hinweg abzugleichen. Dieser Ansatz ermöglicht die Bewahrung domänenübergreifender Merkmale in flachen Schichten, während taskspezifische Anpassungen in tieferen Schichten möglich sind. Im Gegensatz zu früheren Methoden, die Task-Labels erfordern oder Leistungseinbußen in Kauf nehmen, erreicht RECALL eine nahtlose Multi-Domain-Integration und eine hohe Resistenz gegen katastrophales Vergessen. Umfangreiche Experimente über fünf NLP-Aufgaben und mehrere Szenarien des kontinuierlichen Lernens zeigen, dass RECALL Baseline-Methoden sowohl in der Wissensbewahrung als auch in der Generalisierung übertrifft und somit eine skalierbare, datenfreie Lösung für die Weiterentwicklung von LLMs bietet.

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.