Quanto Conhecimento Você Pode Inserir em um Adaptador LoRA sem Prejudicar um LLM?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Autores: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Resumo

O desempenho dos Modelos de Linguagem de Grande Escala (LLMs) em muitas tarefas é significativamente limitado pelo conhecimento aprendido durante o pré-treinamento e armazenado nos parâmetros do modelo. A adaptação de baixo posto (LoRA) é uma técnica de treinamento popular e eficiente para atualização ou adaptação específica de domínio de LLMs. Neste estudo, investigamos como novos fatos podem ser incorporados ao LLM usando LoRA sem comprometer o conhecimento previamente aprendido. Ajustamos o modelo Llama-3.1-8B-instruct usando LoRA com quantidades variáveis de novos conhecimentos. Nossos experimentos mostraram que os melhores resultados são obtidos quando os dados de treinamento contêm uma mistura de fatos conhecidos e novos. No entanto, essa abordagem ainda é potencialmente prejudicial, pois o desempenho do modelo em benchmarks externos de resposta a perguntas diminui após esse ajuste fino. Quando os dados de treinamento são tendenciosos em relação a certas entidades, o modelo tende a regredir para algumas respostas super-representadas. Além disso, descobrimos que o modelo se torna mais confiante e se recusa a fornecer uma resposta em apenas alguns casos. Essas descobertas destacam as possíveis armadilhas das atualizações de LLMs baseadas em LoRA e enfatizam a importância da composição dos dados de treinamento e dos parâmetros de ajuste para equilibrar a integração de novos conhecimentos e as capacidades gerais do modelo.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.