RICHIAMO: Mitigazione dell'Oblio Catastrofico allineato alla Rappresentazione tramite Fusione Gerarchica del Modello

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

October 23, 2025

Autori: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang

cs.AI

Abstract

Riveliamo che le rappresentazioni interne nei grandi modelli linguistici (LLM) fungono da indicatori affidabili della conoscenza appresa e proponiamo RECALL, un innovativo framework di fusione di modelli consapevole delle rappresentazioni per l'apprendimento continuo senza accesso ai dati storici. RECALL calcola la similarità inter-modello dalle rappresentazioni nascoste stratificate su campioni tipici raggruppati ed esegue una fusione parametrica gerarchica e adattativa per allineare la conoscenza tra i modelli. Questo design consente di preservare le caratteristiche dominio-generali negli strati superficiali, permettendo al contempo l'adattamento specifico per task negli strati più profondi. A differenza dei metodi precedenti che richiedono etichette di task o comportano compromessi prestazionali, RECALL raggiunge un'integrazione multi-dominio senza soluzione di continuità e un'elevata resistenza alla dimenticanza catastrofica. Esperimenti estesi su cinque task di NLP e molteplici scenari di apprendimento continuo dimostrano che RECALL supera i baseline sia nella ritenzione della conoscenza che nella generalizzazione, fornendo una soluzione scalabile e senza dati per l'evoluzione degli LLM.

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.