RAGからメモリへ：大規模言語モデルのための非パラメトリック継続学習

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

著者: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

要旨

継続的に知識を獲得し、整理し、活用する能力は、人間の知性の重要な特徴であり、AIシステムがその真の可能性を引き出すためにはこれを近似する必要がある。大規模言語モデル（LLM）を用いた継続学習の課題を踏まえ、検索拡張生成（RAG）は新たな情報を導入する主要な方法となっている。しかし、ベクトル検査に依存するRAGは、人間の長期記憶の動的かつ相互接続された性質を模倣する能力を妨げている。最近のRAGアプローチでは、ベクトル埋め込みを知識グラフなどの様々な構造で拡張し、特に意味理解と連想性のギャップを埋めようとしている。しかし、これらのアプローチは、より基本的な事実記憶タスクにおいて標準的なRAGを大きく下回る性能を示す。我々はこの意図しない性能低下に対処し、事実記憶、意味理解、連想記憶タスクにおいて標準的なRAGを包括的に上回るHippoRAG 2を提案する。HippoRAG 2は、HippoRAGで使用されたPersonalized PageRankアルゴリズムを基盤とし、より深い文章統合とLLMのより効果的なオンライン利用を組み合わせることで、このRAGシステムを人間の長期記憶の有効性に近づけ、最先端の埋め込みモデルに対して連想記憶タスクで7%の改善を達成するとともに、優れた事実知識と意味理解記憶能力を示す。この研究は、LLMのための非パラメトリックな継続学習の道を開くものである。我々のコードとデータはhttps://github.com/OSU-NLP-Group/HippoRAGで公開される予定である。

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.