ORBIT: Сохранение фундаментальных языковых способностей в GenRetrieval посредством слияния, регулируемого происхождением
ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
May 12, 2026
Авторы: Neha Verma, Nikhil Mehta, Shao-Chuan Wang, Naijing Zhang, Alicia Tsai, Li Wei, Lukasz Heldt, Lichan Hong, Ed Chi, Xinyang Yi
cs.AI
Аннотация
Несмотря на стремительный прогресс в разработке больших языковых моделей (LLM), их тонкая настройка под конкретные задачи часто приводит к катастрофическому забыванию общих языковых способностей рассуждения. В данной работе исследуется и решается эта проблема в контексте задачи генеративного поиска (GenRetrieval). В ходе тонкой настройки GenRetrieval мы обнаружили, что такое забывание происходит быстро и коррелирует с расстоянием между настроенными и исходными параметрами модели. Основываясь на этих наблюдениях, мы предлагаем ORBIT — новый подход, который активно отслеживает расстояние между настроенными и начальными весами модели и использует стратегию усреднения весов для ограничения дрейфа модели во время тонкой настройки GenRetrieval, когда это межмодельное расстояние превышает заданный порог. Наши результаты показывают, что ORBIT сохраняет значительную производительность в задачах обработки текста и поиска, превосходя как распространенные базовые методы непрерывного обучения, так и связанные с ними методы регуляризации, также использующие усреднение весов.
English
Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.