Quelle quantité de connaissances peut-on intégrer dans un adaptateur LoRA sans nuire au LLM ?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Auteurs: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Résumé

Les performances des modèles de langage de grande taille (LLMs) sur de nombreuses tâches sont fortement limitées par les connaissances acquises lors du pré-entraînement et stockées dans les paramètres du modèle. L'adaptation à faible rang (LoRA) est une technique d'entraînement populaire et efficace pour mettre à jour ou adapter les LLMs à des domaines spécifiques. Dans cette étude, nous examinons comment de nouveaux faits peuvent être intégrés dans un LLM en utilisant LoRA sans compromettre les connaissances précédemment acquises. Nous avons affiné le modèle Llama-3.1-8B-instruct en utilisant LoRA avec différentes quantités de nouvelles connaissances. Nos expériences ont montré que les meilleurs résultats sont obtenus lorsque les données d'entraînement contiennent un mélange de faits connus et nouveaux. Cependant, cette approche reste potentiellement problématique car les performances du modèle sur des benchmarks externes de question-réponse diminuent après un tel affinage. Lorsque les données d'entraînement sont biaisées en faveur de certaines entités, le modèle a tendance à régresser vers quelques réponses surreprésentées. De plus, nous avons constaté que le modèle devient plus confiant et refuse de fournir une réponse dans seulement quelques cas. Ces résultats mettent en lumière les pièges potentiels des mises à jour de LLM basées sur LoRA et soulignent l'importance de la composition des données d'entraînement et des paramètres d'ajustement pour équilibrer l'intégration de nouvelles connaissances et les capacités générales du modèle.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.