ORBIT: Behoud van fundamentele taalcapaciteiten in GenRetrieval via oorsprong-gereguleerd mergen

Samenvatting

Ondanks de snelle vooruitgang in de ontwikkeling van grote taalmodellen (LLM's), leidt het finetunen ervan voor specifieke taken vaak tot het catastrofaal vergeten van hun algemene, taalgebaseerde redeneervaardigheden. Dit werk onderzoekt en pakt deze uitdaging aan in de context van de Generative Retrieval (GenRetrieval) taak. Tijdens het finetunen voor GenRetrieval vinden we dat dit vergeten snel optreedt en correleert met de afstand tussen de gefinetunede en oorspronkelijke modelparameters. Gezien deze observaties stellen we ORBIT voor, een nieuwe aanpak die actief de afstand tussen gefinetunede en initiële modelgewichten bijhoudt, en een gewichtsmiddelingsstrategie gebruikt om modeldrift tijdens het finetunen voor GenRetrieval te beperken wanneer deze inter-modelafstand een maximale drempel overschrijdt. Onze resultaten tonen aan dat ORBIT aanzienlijke tekst- en retrievalsprestaties behoudt door zowel gangbare baselines voor continu leren als gerelateerde regularisatiemethoden die ook gewichtsmiddeling gebruiken te overtreffen.

English

Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.