Hoeveel kennis kun je in een LoRA-adapter stoppen zonder de LLM te schaden?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Auteurs: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Samenvatting

De prestaties van Large Language Models (LLMs) op veel taken worden sterk beperkt door de kennis die tijdens het voorafgaande trainen is geleerd en opgeslagen in de parameters van het model. Low-rank adaptation (LoRA) is een populaire en efficiënte trainingsmethode voor het bijwerken of domeinspecifiek aanpassen van LLMs. In deze studie onderzoeken we hoe nieuwe feiten kunnen worden geïntegreerd in een LLM met behulp van LoRA zonder de eerder geleerde kennis in gevaar te brengen. We hebben Llama-3.1-8B-instruct verfijnd met LoRA, waarbij we verschillende hoeveelheden nieuwe kennis hebben gebruikt. Onze experimenten hebben aangetoond dat de beste resultaten worden behaald wanneer de trainingsgegevens een mix bevatten van bekende en nieuwe feiten. Deze aanpak is echter nog steeds potentieel schadelijk, omdat de prestaties van het model op externe vraag-antwoordbenchmarks afnemen na een dergelijke verfijning. Wanneer de trainingsgegevens bevooroordeeld zijn ten opzichte van bepaalde entiteiten, neigt het model ernaar terug te vallen op enkele oververtegenwoordigde antwoorden. Daarnaast hebben we vastgesteld dat het model zelfverzekerder wordt en slechts in enkele gevallen weigert een antwoord te geven. Deze bevindingen benadrukken de potentiële valkuilen van LoRA-gebaseerde LLM-updates en onderstrepen het belang van de samenstelling van de trainingsgegevens en het afstemmen van parameters om de integratie van nieuwe kennis en de algemene modelcapaciteiten in evenwicht te brengen.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.