Compressão de Banco de Memória para Adaptação Contínua de Modelos de Linguagem de Grande Escala

Memory Bank Compression for Continual Adaptation of Large Language Models

January 2, 2026

Autores: Thomas Katraouras, Dimitrios Rafailidis

cs.AI

Resumo

Os Modelos de Linguagem de Grande Porte (LLMs) tornaram-se um pilar fundamental para muitas aplicações do quotidiano. No entanto, à medida que os dados evoluem, o seu conhecimento torna-se rapidamente desatualizado. A aprendizagem contínua visa atualizar os LLMs com novas informações sem apagar o conhecimento previamente adquirido. Embora métodos como o *fine-tuning* completo possam incorporar novos dados, são computacionalmente dispendiosos e propensos ao esquecimento catastrófico, em que o conhecimento anterior é sobrescrito. As abordagens aumentadas por memória abordam este problema ao equipar os LLMs com um banco de memória, ou seja, um módulo de memória externo que armazena informações para uso futuro. No entanto, estes métodos enfrentam uma limitação crítica: em particular, o banco de memória cresce constantemente no cenário do mundo real quando chegam fluxos de dados em larga escala. Neste artigo, propomos o MBC, um modelo que comprime o banco de memória através de uma estratégia de otimização de *codebook* durante a aprendizagem de adaptação online. Para garantir uma aprendizagem estável, também introduzimos um mecanismo de redefinição online que evita o colapso do *codebook*. Além disso, utilizamos a Adaptação de Baixa Classificação (*Low-Rank Adaptation*) Chave-Valor nas camadas de atenção do LLM, permitindo uma utilização eficiente das representações de memória comprimidas. Experiências com conjuntos de dados de referência para resposta a perguntas demonstram que o MBC reduz o tamanho do banco de memória para 0,3% em comparação com a linha de base mais competitiva, mantendo uma alta precisão de retenção durante a aprendizagem de adaptação online. O nosso código está publicamente disponível em https://github.com/Thomkat/MBC.

English

Large Language Models (LLMs) have become a mainstay for many everyday applications. However, as data evolve their knowledge quickly becomes outdated. Continual learning aims to update LLMs with new information without erasing previously acquired knowledge. Although methods such as full fine-tuning can incorporate new data, they are computationally expensive and prone to catastrophic forgetting, where prior knowledge is overwritten. Memory-augmented approaches address this by equipping LLMs with a memory bank, that is an external memory module which stores information for future use. However, these methods face a critical limitation, in particular, the memory bank constantly grows in the real-world scenario when large-scale data streams arrive. In this paper, we propose MBC, a model that compresses the memory bank through a codebook optimization strategy during online adaptation learning. To ensure stable learning, we also introduce an online resetting mechanism that prevents codebook collapse. In addition, we employ Key-Value Low-Rank Adaptation in the attention layers of the LLM, enabling efficient utilization of the compressed memory representations. Experiments with benchmark question-answering datasets demonstrate that MBC reduces the memory bank size to 0.3% when compared against the most competitive baseline, while maintaining high retention accuracy during online adaptation learning. Our code is publicly available at https://github.com/Thomkat/MBC.