ORBIT: Preservando Capacidades Fundamentais de Linguagem em GenRetrieval via Fusão Regulada por Origem

Resumo

Apesar dos rápidos avanços no desenvolvimento de modelos de linguagem de grande escala (LLMs), o ajuste fino desses modelos para tarefas específicas frequentemente resulta no esquecimento catastrófico de suas capacidades gerais de raciocínio baseado em linguagem. Este trabalho investiga e aborda esse desafio no contexto da tarefa de Recuperação Generativa (GenRetrieval). Durante o ajuste fino para GenRetrieval, observamos que esse esquecimento ocorre rapidamente e se correlaciona com a distância entre os parâmetros do modelo ajustado e do modelo original. Com base nessas observações, propomos o ORBIT, uma abordagem inovadora que monitora ativamente a distância entre os pesos do modelo ajustado e os iniciais, e utiliza uma estratégia de média de pesos para restringir o desvio do modelo durante o ajuste fino para GenRetrieval quando essa distância inter-modelo excede um limiar máximo. Nossos resultados mostram que o ORBIT retém desempenho substancial em texto e recuperação, superando tanto as linhas de base comuns de aprendizado contínuo quanto métodos de regularização relacionados que também empregam média de pesos.

English

Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.