ORBIT: Preservando las Capacidades Lingüísticas Fundamentales en la Recuperación Generativa mediante Fusión Regulada por Origen
ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
May 12, 2026
Autores: Neha Verma, Nikhil Mehta, Shao-Chuan Wang, Naijing Zhang, Alicia Tsai, Li Wei, Lukasz Heldt, Lichan Hong, Ed Chi, Xinyang Yi
cs.AI
Resumen
A pesar de los rápidos avances en el desarrollo de modelos de lenguaje de gran escala (LLM), su ajuste fino para tareas específicas a menudo provoca el olvido catastrófico de sus capacidades generales de razonamiento basado en el lenguaje. Este trabajo investiga y aborda este desafío en el contexto de la tarea de Recuperación Generativa (GenRetrieval). Durante el ajuste fino de GenRetrieval, encontramos que este olvido ocurre rápidamente y se correlaciona con la distancia entre los parámetros del modelo ajustado y el original. A partir de estas observaciones, proponemos ORBIT, un enfoque novedoso que monitorea activamente la distancia entre los pesos del modelo ajustado y los iniciales, y utiliza una estrategia de promedio de pesos para restringir la deriva del modelo durante el ajuste fino de GenRetrieval cuando esta distancia entre modelos supera un umbral máximo. Nuestros resultados muestran que ORBIT retiene un rendimiento sustancial tanto en texto como en recuperación, superando tanto las líneas base comunes de aprendizaje continuo como los métodos de regularización relacionados que también emplean promedio de pesos.
English
Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.