Da RAG alla Memoria: Apprendimento Continuo Non-Parametrico per Modelli Linguistici di Grande Dimensione

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

Autori: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

Abstract

La nostra capacità di acquisire, organizzare e sfruttare continuamente la conoscenza è una caratteristica fondamentale dell'intelligenza umana che i sistemi di intelligenza artificiale devono approssimare per sbloccare il loro pieno potenziale. Date le sfide nell'apprendimento continuo con i grandi modelli linguistici (LLM), la generazione aumentata dal recupero (RAG) è diventata il metodo dominante per introdurre nuove informazioni. Tuttavia, la sua dipendenza dal recupero vettoriale ostacola la sua capacità di imitare la natura dinamica e interconnessa della memoria a lungo termine umana. Recenti approcci RAG arricchiscono gli embedding vettoriali con varie strutture come grafi di conoscenza per affrontare alcune di queste lacune, in particolare il senso e l'associatività. Tuttavia, le loro prestazioni su compiti di memoria fattuale più basilari scendono considerevolmente al di sotto dello standard RAG. Affrontiamo questo deterioramento non intenzionale e proponiamo HippoRAG 2, un framework che supera lo standard RAG in modo completo su compiti di memoria fattuale, di senso e associativa. HippoRAG 2 si basa sull'algoritmo Personalized PageRank utilizzato in HippoRAG e lo potenzia con una più profonda integrazione dei passaggi e un uso più efficace online di un LLM. Questa combinazione avvicina questo sistema RAG all'efficacia della memoria a lungo termine umana, ottenendo un miglioramento del 7% nei compiti di memoria associativa rispetto al modello di embedding all'avanguardia, mostrando anche capacità superiori di conoscenza fattuale e memoria di senso. Questo lavoro apre la strada all'apprendimento continuo non parametrico per gli LLM. Il nostro codice e i dati saranno rilasciati su https://github.com/OSU-NLP-Group/HippoRAG.

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.