Compressione della Memoria per l'Adattamento Continuo dei Grandi Modelli Linguistici

Memory Bank Compression for Continual Adaptation of Large Language Models

January 2, 2026

Autori: Thomas Katraouras, Dimitrios Rafailidis

cs.AI

Abstract

I Large Language Model (LLM) sono diventati un pilastro per molte applicazioni quotidiane. Tuttavia, con l'evolversi dei dati, la loro conoscenza diventa rapidamente obsoleta. L'apprendimento continuo mira ad aggiornare gli LLM con nuove informazioni senza cancellare le conoscenze acquisite in precedenza. Sebbene metodi come il fine-tuning completo possano incorporare nuovi dati, sono computazionalmente costosi e inclini alla dimenticanza catastrofica, in cui la conoscenza precedente viene sovrascritta. Gli approcci aumentati con memoria affrontano questo problema dotando gli LLM di una memory bank, ovvero un modulo di memoria esterno che memorizza le informazioni per un uso futuro. Tuttavia, questi metodi affrontano una limitazione critica; in particolare, la memory bank cresce costantemente nello scenario del mondo reale quando arrivano flussi di dati su larga scala. In questo articolo, proponiamo MBC, un modello che comprime la memory bank attraverso una strategia di ottimizzazione del codebook durante l'apprendimento adattativo online. Per garantire un apprendimento stabile, introduciamo anche un meccanismo di reset online che previene il collasso del codebook. Inoltre, utilizziamo la Key-Value Low-Rank Adaptation negli strati di attenzione dell'LLM, consentendo un utilizzo efficiente delle rappresentazioni di memoria compresse. Esperimenti con dataset benchmark di question-answering dimostrano che MBC riduce la dimensione della memory bank allo 0.3% rispetto al baseline più competitivo, mantenendo un'elevata accuratezza di ritenzione durante l'apprendimento adattativo online. Il nostro codice è pubblicamente disponibile all'indirizzo https://github.com/Thomkat/MBC.

English

Large Language Models (LLMs) have become a mainstay for many everyday applications. However, as data evolve their knowledge quickly becomes outdated. Continual learning aims to update LLMs with new information without erasing previously acquired knowledge. Although methods such as full fine-tuning can incorporate new data, they are computationally expensive and prone to catastrophic forgetting, where prior knowledge is overwritten. Memory-augmented approaches address this by equipping LLMs with a memory bank, that is an external memory module which stores information for future use. However, these methods face a critical limitation, in particular, the memory bank constantly grows in the real-world scenario when large-scale data streams arrive. In this paper, we propose MBC, a model that compresses the memory bank through a codebook optimization strategy during online adaptation learning. To ensure stable learning, we also introduce an online resetting mechanism that prevents codebook collapse. In addition, we employ Key-Value Low-Rank Adaptation in the attention layers of the LLM, enabling efficient utilization of the compressed memory representations. Experiments with benchmark question-answering datasets demonstrate that MBC reduces the memory bank size to 0.3% when compared against the most competitive baseline, while maintaining high retention accuracy during online adaptation learning. Our code is publicly available at https://github.com/Thomkat/MBC.