Сколько знаний можно упаковать в адаптер LoRA, не навредив языковой модели?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Авторы: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Аннотация

Производительность крупных языковых моделей (LLM) на многих задачах существенно ограничивается знаниями, усвоенными в ходе предварительного обучения и хранящимися в параметрах модели. Низкоранговая адаптация (LoRA) — это популярный и эффективный метод обучения для обновления или адаптации LLM под конкретные домены. В данном исследовании мы изучаем, как новые факты могут быть интегрированы в LLM с использованием LoRA без ущерба для ранее усвоенных знаний. Мы провели тонкую настройку модели Llama-3.1-8B-instruct с использованием LoRA, варьируя объем новых знаний. Наши эксперименты показали, что наилучшие результаты достигаются, когда обучающие данные содержат смесь известных и новых фактов. Однако этот подход все же потенциально вреден, поскольку производительность модели на внешних тестах по ответам на вопросы снижается после такой тонкой настройки. Когда обучающие данные смещены в сторону определенных сущностей, модель склонна регрессировать к нескольким перепредставленным ответам. Кроме того, мы обнаружили, что модель становится более уверенной и отказывается давать ответ лишь в редких случаях. Эти результаты подчеркивают потенциальные риски обновления LLM на основе LoRA и важность состава обучающих данных и параметров настройки для баланса между интеграцией новых знаний и общими возможностями модели.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.