Quanta Conoscenza Puoi Inserire in un Adattatore LoRA Senza Danneggiare un LLM?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Autori: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Abstract

Le prestazioni dei Large Language Models (LLM) in molti compiti sono fortemente limitate dalla conoscenza appresa durante il pre-training e memorizzata nei parametri del modello. La Low-Rank Adaptation (LoRA) è una tecnica di addestramento popolare ed efficiente per l'aggiornamento o l'adattamento specifico di dominio dei LLM. In questo studio, indaghiamo come nuovi fatti possano essere incorporati nel LLM utilizzando LoRA senza compromettere le conoscenze precedentemente apprese. Abbiamo eseguito il fine-tuning di Llama-3.1-8B-instruct utilizzando LoRA con quantità variabili di nuove conoscenze. I nostri esperimenti hanno dimostrato che i migliori risultati si ottengono quando i dati di addestramento contengono una miscela di fatti noti e nuovi. Tuttavia, questo approccio è potenzialmente dannoso perché le prestazioni del modello su benchmark esterni di risposta alle domande diminuiscono dopo tale fine-tuning. Quando i dati di addestramento sono sbilanciati verso determinate entità, il modello tende a regredire verso poche risposte sovrarappresentate. Inoltre, abbiamo osservato che il modello diventa più sicuro di sé e rifiuta di fornire una risposta solo in pochi casi. Questi risultati evidenziano le potenziali insidie degli aggiornamenti dei LLM basati su LoRA e sottolineano l'importanza della composizione dei dati di addestramento e dei parametri di regolazione per bilanciare l'integrazione di nuove conoscenze e le capacità generali del modello.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.