RECORDAR: Alivio del Olvido Catastrófico mediante Alineación de Representaciones vía Fusión Jerárquica de Modelos

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

October 23, 2025

Autores: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang

cs.AI

Resumen

Revelamos que las representaciones internas en los modelos de lenguaje a gran escala (LLMs) funcionan como proxies confiables del conocimiento aprendido, y proponemos RECALL, un novedoso marco de fusión de modelos consciente de las representaciones para el aprendizaje continuo sin acceso a datos históricos. RECALL calcula la similitud inter-modelo a partir de representaciones ocultas por capas sobre muestras típicas agrupadas, y realiza una fusión de parámetros adaptativa y jerárquica para alinear el conocimiento entre modelos. Este diseño permite preservar características de dominio general en las capas superficiales mientras permite la adaptación específica de tareas en las capas más profundas. A diferencia de métodos anteriores que requieren etiquetas de tareas o incurren en compensaciones de rendimiento, RECALL logra una integración multidominio sin interrupciones y una fuerte resistencia al olvido catastrófico. Experimentos exhaustivos en cinco tareas de PLN y múltiples escenarios de aprendizaje continuo demuestran que RECALL supera a los métodos base tanto en retención de conocimiento como en generalización, ofreciendo una solución escalable y libre de datos para la evolución de los LLMs.

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.