¿Cuánto conocimiento puedes empaquetar en un adaptador LoRA sin perjudicar a un modelo de lenguaje grande (LLM)?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

Autores: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

Resumen

El rendimiento de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) en muchas tareas se ve significativamente limitado por el conocimiento adquirido durante el preentrenamiento y almacenado en los parámetros del modelo. La adaptación de bajo rango (LoRA, por sus siglas en inglés) es una técnica de entrenamiento popular y eficiente para actualizar o adaptar LLMs a dominios específicos. En este estudio, investigamos cómo se pueden incorporar nuevos hechos en el LLM utilizando LoRA sin comprometer el conocimiento previamente aprendido. Ajustamos el modelo Llama-3.1-8B-instruct utilizando LoRA con diferentes cantidades de conocimiento nuevo. Nuestros experimentos han demostrado que los mejores resultados se obtienen cuando los datos de entrenamiento contienen una mezcla de hechos conocidos y nuevos. Sin embargo, este enfoque sigue siendo potencialmente perjudicial, ya que el rendimiento del modelo en benchmarks externos de preguntas y respuestas disminuye después de dicho ajuste fino. Cuando los datos de entrenamiento están sesgados hacia ciertas entidades, el modelo tiende a regresar a unas pocas respuestas sobrerrepresentadas. Además, encontramos que el modelo se vuelve más confiado y se niega a proporcionar una respuesta en solo unos pocos casos. Estos hallazgos resaltan los posibles inconvenientes de las actualizaciones de LLMs basadas en LoRA y subrayan la importancia de la composición de los datos de entrenamiento y los parámetros de ajuste para equilibrar la integración de nuevo conocimiento y las capacidades generales del modelo.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.