Von RAG zu Gedächtnis: Nicht-parametrisches kontinuierliches Lernen für große Sprachmodelle

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

Autoren: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

Zusammenfassung

Unsere Fähigkeit, kontinuierlich Wissen zu erwerben, zu organisieren und zu nutzen, ist ein zentrales Merkmal der menschlichen Intelligenz, das KI-Systeme annähern müssen, um ihr volles Potenzial zu entfalten. Angesichts der Herausforderungen beim kontinuierlichen Lernen mit großen Sprachmodellen (LLMs) hat die retrievergestützte Generierung (RAG) sich als dominanter Ansatz etabliert, um neue Informationen einzuführen. Allerdings behindert ihre Abhängigkeit von der Vektorretrieval ihre Fähigkeit, die dynamische und vernetzte Natur des menschlichen Langzeitgedächtnisses nachzuahmen. Neuere RAG-Ansätze erweitern Vektoreinbettungen mit verschiedenen Strukturen wie Wissensgraphen, um einige dieser Lücken, insbesondere Sinnbildung und Assoziativität, zu schließen. Allerdings sinkt ihre Leistung bei grundlegenden Faktengedächtnisaufgaben deutlich unter die des Standard-RAG. Wir adressieren diese unbeabsichtigte Verschlechterung und schlagen HippoRAG 2 vor, ein Framework, das den Standard-RAG umfassend bei Fakten-, Sinnbildungs- und assoziativen Gedächtnisaufgaben übertrifft. HippoRAG 2 baut auf dem in HippoRAG verwendeten Personalized PageRank-Algorithmus auf und verbessert ihn durch eine tiefere Integration von Textpassagen und eine effektivere Online-Nutzung eines LLM. Diese Kombination bringt dieses RAG-System näher an die Effektivität des menschlichen Langzeitgedächtnisses heran und erzielt eine 7%ige Verbesserung bei assoziativen Gedächtnisaufgaben gegenüber dem modernsten Einbettungsmodell, während es gleichzeitig überlegene Fähigkeiten im Bereich des Faktenwissens und der Sinnbildung zeigt. Diese Arbeit ebnet den Weg für nicht-parametrisches kontinuierliches Lernen für LLMs. Unser Code und unsere Daten werden unter https://github.com/OSU-NLP-Group/HippoRAG veröffentlicht.

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.