Van RAG naar Geheugen: Niet-parametrisch continu leren voor grote taalmodel- len

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

Auteurs: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

Samenvatting

Ons vermogen om voortdurend kennis te verwerven, te organiseren en te benutten, is een belangrijk kenmerk van menselijke intelligentie dat AI-systemen moeten benaderen om hun volledige potentieel te ontsluiten. Gezien de uitdagingen in continu leren met grote taalmodelen (LLMs), is retrieval-augmented generation (RAG) de dominante methode geworden om nieuwe informatie te introduceren. Echter, de afhankelijkheid van vectorretrieval belemmert het vermogen om de dynamische en onderling verbonden aard van het menselijk langetermijngeheugen na te bootsen. Recente RAG-benaderingen verrijken vector-embeddings met verschillende structuren zoals kennisgrafieken om enkele van deze tekortkomingen aan te pakken, met name zingeving en associativiteit. Hun prestaties op meer basale feitelijke geheugentaken vallen echter aanzienlijk lager uit dan standaard RAG. Wij pakken deze onbedoelde verslechtering aan en stellen HippoRAG 2 voor, een framework dat standaard RAG alomvattend overtreft op feitelijke, zingevende en associatieve geheugentaken. HippoRAG 2 bouwt voort op het Personalized PageRank-algoritme dat in HippoRAG wordt gebruikt en versterkt het met een diepere integratie van passages en een effectiever online gebruik van een LLM. Deze combinatie brengt dit RAG-systeem dichter bij de effectiviteit van het menselijk langetermijngeheugen, met een verbetering van 7% in associatieve geheugentaken ten opzichte van het state-of-the-art embedding-model, terwijl het ook superieure feitelijke kennis en zingevende geheugencapaciteiten vertoont. Dit werk baant de weg voor niet-parametrisch continu leren voor LLMs. Onze code en gegevens zullen worden vrijgegeven op https://github.com/OSU-NLP-Group/HippoRAG.

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.