ORBIT: Bewahrung grundlegender Sprachfähigkeiten im GenRetrieval durch ursprungsreguliertes Merging
ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
May 12, 2026
Autoren: Neha Verma, Nikhil Mehta, Shao-Chuan Wang, Naijing Zhang, Alicia Tsai, Li Wei, Lukasz Heldt, Lichan Hong, Ed Chi, Xinyang Yi
cs.AI
Zusammenfassung
Trotz der rasanten Fortschritte bei der Entwicklung großer Sprachmodelle (Large Language Models, LLMs) führt deren Feinabstimmung für spezifische Aufgaben häufig zum katastrophalen Vergessen ihrer allgemeinen, sprachbasierten Denkfähigkeiten. Die vorliegende Arbeit untersucht und adressiert diese Herausforderung im Kontext der Generativen Retrieval-Aufgabe (GenRetrieval). Während der Feinabstimmung von GenRetrieval stellen wir fest, dass dieses Vergessen schnell eintritt und mit der Distanz zwischen den abgestimmten und den ursprünglichen Modellparametern korreliert. Ausgehend von diesen Beobachtungen schlagen wir ORBIT vor, einen neuartigen Ansatz, der aktiv den Abstand zwischen den feinabgestimmten und den ursprünglichen Modellgewichten verfolgt und eine Strategie zur Gewichtsmittelung einsetzt, um die Modellabweichung während der GenRetrieval-Feinabstimmung zu begrenzen, sobald dieser modellübergreifende Abstand einen maximalen Schwellenwert überschreitet. Unsere Ergebnisse zeigen, dass ORBIT eine substanzielle Text- und Retrieval-Leistung bewahrt und dabei sowohl gängige Continual-Learning-Baselines als auch verwandte Regularisierungsmethoden übertrifft, die ebenfalls Gewichtsmittelung einsetzen.
English
Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.