Wie viel Wissen kann man in einen LoRA-Adapter packen, ohne die Leistung eines LLM zu beeinträchtigen?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Autoren: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Zusammenfassung

Die Leistung von Large Language Models (LLMs) bei vielen Aufgaben wird stark durch das während des Pre-Trainings erlernte und in den Modellparametern gespeicherte Wissen begrenzt. Low-Rank Adaptation (LoRA) ist eine beliebte und effiziente Trainingsmethode zur Aktualisierung oder domänenspezifischen Anpassung von LLMs. In dieser Studie untersuchen wir, wie neue Fakten mithilfe von LoRA in das LLM integriert werden können, ohne das zuvor erlernte Wissen zu beeinträchtigen. Wir haben Llama-3.1-8B-instruct mit LoRA unter Verwendung unterschiedlicher Mengen neuen Wissens feinabgestimmt. Unsere Experimente haben gezeigt, dass die besten Ergebnisse erzielt werden, wenn die Trainingsdaten eine Mischung aus bekannten und neuen Fakten enthalten. Dieser Ansatz ist jedoch potenziell problematisch, da die Leistung des Modells bei externen Frage-Antwort-Benchmarks nach einer solchen Feinabstimmung abnimmt. Wenn die Trainingsdaten in Richtung bestimmter Entitäten verzerrt sind, neigt das Modell dazu, auf einige überrepräsentierte Antworten zurückzufallen. Darüber hinaus haben wir festgestellt, dass das Modell in nur wenigen Fällen selbstbewusster wird und sich weigert, eine Antwort zu geben. Diese Erkenntnisse verdeutlichen die potenziellen Fallstricke von LoRA-basierten LLM-Aktualisierungen und unterstreichen die Bedeutung der Zusammensetzung der Trainingsdaten sowie der Abstimmung der Parameter, um die Integration neuen Wissens und die allgemeinen Modellfähigkeiten in Einklang zu bringen.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.