RECALL: Смягчение катастрофического забывания через выравнивание представлений с помощью иерархического объединения моделей
RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging
October 23, 2025
Авторы: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang
cs.AI
Аннотация
Мы раскрываем, что внутренние репрезентации больших языковых моделей (LLM) служат надежными индикаторами усвоенных знаний, и предлагаем RECALL — новую модель-агностичную структуру слияния моделей, учитывающую репрезентации, для непрерывного обучения без доступа к историческим данным. RECALL вычисляет межмодельное сходство на основе послойных скрытых представлений на кластеризованных типичных примерах и выполняет адаптивное иерархическое слияние параметров для согласования знаний между моделями. Данная конструкция позволяет сохранять общедоменные признаки в поверхностных слоях, обеспечивая адаптацию к конкретным задачам в более глубоких слоях. В отличие от предыдущих методов, требующих меток задач или ведущих к компромиссам в производительности, RECALL обеспечивает плавную интеграцию данных из множества доменов и высокую устойчивость к катастрофическому забыванию. Многочисленные эксперименты на пяти задачах NLP и в различных сценариях непрерывного обучения демонстрируют, что RECALL превосходит базовые методы как по сохранению знаний, так и по способности к обобщению, предлагая масштабируемое и не требующее данных решение для эволюции LLM.
English
We unveil that internal representations in large language models (LLMs) serve
as reliable proxies of learned knowledge, and propose RECALL, a novel
representation-aware model merging framework for continual learning without
access to historical data. RECALL computes inter-model similarity from
layer-wise hidden representations over clustered typical samples, and performs
adaptive, hierarchical parameter fusion to align knowledge across models. This
design enables the preservation of domain-general features in shallow layers
while allowing task-specific adaptation in deeper layers. Unlike prior methods
that require task labels or incur performance trade-offs, RECALL achieves
seamless multi-domain integration and strong resistance to catastrophic
forgetting. Extensive experiments across five NLP tasks and multiple continual
learning scenarios show that RECALL outperforms baselines in both knowledge
retention and generalization, providing a scalable and data-free solution for
evolving LLMs.