RECALL: Alívio de Esquecimento Catastrófico por Alinhamento de Representação via Fusão Hierárquica de Modelos

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

October 23, 2025

Autores: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang

cs.AI

Resumo

Revelamos que as representações internas em grandes modelos de linguagem (LLMs) servem como proxies confiáveis do conhecimento aprendido e propomos o RECALL, uma nova estrutura de fusão de modelos consciente da representação para aprendizado contínuo sem acesso a dados históricos. O RECALL calcula a similaridade inter-modelo a partir de representações ocultas em nível de camada sobre amostras típicas agrupadas e realiza uma fusão de parâmetros hierárquica e adaptativa para alinhar o conhecimento entre os modelos. Este projeto permite a preservação de características de domínio geral nas camadas superficiais, enquanto permite a adaptação específica da tarefa em camadas mais profundas. Diferente de métodos anteriores que exigem rótulos de tarefa ou incorrem em trade-offs de desempenho, o RECALL alcança uma integração multi-domínio contínua e uma forte resistência ao esquecimento catastrófico. Experimentos extensos em cinco tarefas de PLN e múltiplos cenários de aprendizado contínuo mostram que o RECALL supera as baselines tanto em retenção de conhecimento quanto em generalização, fornecendo uma solução escalável e livre de dados para a evolução de LLMs.

English

We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.